1F1B
1F1B
Определение
Схема pipeline parallelism с чередованием forward и backward одного микробатча, уменьшающая пузыри и потребление памяти.
Где встречается
- 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
- 424. Что такое pipeline parallelism и проблема pipeline bubbles
- 426. Что такое 3D parallelism (data + tensor + pipeline)