context parallelism

Определение

Техника распараллеливания последовательности из Megatron-LM, оптимизирующая коммуникацию при обработке длинного контекста.

Где встречается

• 650. Что такое memory-efficient attention для long context на 8x H100

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление