Model parallelism
Model parallelism
Определение
Общая стратегия распараллеливания модели, включающая Tensor Parallelism и Pipeline Parallelism.
Где встречается
- 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
- 401. Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism
- 423. Как работает tensor parallelism для LLM training Чем отличается от инференса
- 424. Что такое pipeline parallelism и проблема pipeline bubbles
- 462. ZeRO-1 vs ZeRO-2 vs ZeRO-3 что и когда использовать
- 463. Что такое activation recomputation (checkpointing) и зачем оно нужно
- 471. Как работает FSDP (Fully Sharded Data Parallel) в PyTorch
- 480. Как работает selective activation recomputation
- 849. Что такое expert parallelism для MoE моделей (Mixtral)