microbatches

Определение

Разбиение батча на мелкие части для конвейерной обработки, уменьшающее простои (bubbles) в pipeline parallelism.

Где встречается

• 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
• 401. Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism
• 424. Что такое pipeline parallelism и проблема pipeline bubbles
• 425. Как работает sequence parallelism в контексте LLM
• 840. Когда tensor parallelism хуже pipeline parallelism
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление