GPipe

Определение

Фреймворк для pipeline parallelism в обучении нейросетей, который использует micro-batching для эффективного использования вычислительных ресурсов.