bank conflicts
bank conflicts
Определение
Ситуация в CUDA shared memory, когда несколько потоков одного warp одновременно обращаются к разным адресам, принадлежащим одному банку, что сериализует доступы и снижает пропускную способность.
Где встречается
- 302. Что такое warp divergence в CUDA и как он влияет на attention
- 304. Что такое FlashAttention с точки зрения CUDA programming
- 704. Что такое bank conflicts в shared memory и как их избежать
- 800+ вопросов