English translation is not available yet. Showing Russian content.
memory coalescing
memory coalescing
Определение
Объединение нескольких обращений к памяти от потоков warp в одну транзакцию для повышения пропускной способности; критично для attention на GPU.
Где встречается
- 302. Что такое warp divergence в CUDA и как он влияет на attention
- 711. Как работает speculative execution на GPU для LLM (branch prediction)
- 800+ вопросов
- 53. Реализовать selective scan (Mamba)