microbatches
microbatches
Определение
Разбиение батча на мелкие части для конвейерной обработки, уменьшающее простои (bubbles) в pipeline parallelism.
Где встречается
- 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
- 401. Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism
- 424. Что такое pipeline parallelism и проблема pipeline bubbles
- 425. Как работает sequence parallelism в контексте LLM
- 840. Когда tensor parallelism хуже pipeline parallelism
- 800+ вопросов