sequence parallelism

Определение

Метод распределённого обучения, при котором длинная последовательность токенов разрезается на части между GPU, что позволяет обрабатывать ultra-long контексты. В отличие от tensor parallelism, здесь делится не hidden dimension, а длина последовательности.

Где встречается

• 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
• 423. Как работает tensor parallelism для LLM training Чем отличается от инференса
• 425. Как работает sequence parallelism в контексте LLM
• 426. Что такое 3D parallelism (data + tensor + pipeline)
• 467. Что такое packing sequences и зачем он нужен
• 527. Как вы проверяете качество парсинга документов (PDF, DOCX) в production
• 650. Что такое memory-efficient attention для long context на 8x H100
• 840. Когда tensor parallelism хуже pipeline parallelism
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление