Ring Attention with Load Balancing

Определение

Вариант ring attention с динамическим перераспределением токенов для равномерной загрузки GPU при разреженном внимании.

Где встречается

• 425. Как работает sequence parallelism в контексте LLM

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление