gradient synchronization

Определение

Процесс усреднения градиентов между GPU после backward при распределенном обучении, необходимый для согласования обновлений.

Где встречается

• 423. Как работает tensor parallelism для LLM training Чем отличается от инференса
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление