pipeline bubbles
pipeline bubbles
Определение
Время простоя GPU при ожидании результатов от предыдущего этапа конвейера, характерное для pipeline parallelism.
Где встречается
- 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
- 401. Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism
- 424. Что такое pipeline parallelism и проблема pipeline bubbles
- 425. Как работает sequence parallelism в контексте LLM
- 426. Что такое 3D parallelism (data + tensor + pipeline)
- 438. Что такое continuous batching Как реализовано в vLLM
- 840. Когда tensor parallelism хуже pipeline parallelism
- 800+ вопросов