sequence parallelism
sequence parallelism
Определение
Метод распределённого обучения, при котором длинная последовательность токенов разрезается на части между GPU, что позволяет обрабатывать ultra-long контексты. В отличие от tensor parallelism, здесь делится не hidden dimension, а длина последовательности.
Где встречается
- 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
- 423. Как работает tensor parallelism для LLM training Чем отличается от инференса
- 425. Как работает sequence parallelism в контексте LLM
- 426. Что такое 3D parallelism (data + tensor + pipeline)
- 467. Что такое packing sequences и зачем он нужен
- 527. Как вы проверяете качество парсинга документов (PDF, DOCX) в production
- 650. Что такое memory-efficient attention для long context на 8x H100
- 840. Когда tensor parallelism хуже pipeline parallelism
- 800+ вопросов