GPipe

Определение

Фреймворк для pipeline parallelism в обучении нейросетей, который использует micro-batching для эффективного использования вычислительных ресурсов.

Где встречается

• 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление