DTensor

Определение

Тип тензора PyTorch с поддержкой распределённого хранения и частичной поддержкой тензорного параллелизма. Позволяет разбивать тензор на несколько устройств для работы с большими моделями.

Где встречается

• 426. Что такое 3D parallelism (data + tensor + pipeline)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление