English translation is not available yet. Showing Russian content.
backward pass
backward pass
Определение
Этап обучения нейронной сети, на котором вычисляются градиенты параметров с помощью обратного распространения, часто требующий коммуникации между устройствами и рекомпутации активаций.
Где встречается
- 153. Что такое ∇-Reasoner (nabla-reasoner) и как он использует градиентный спуск на этапе теста
- 423. Как работает tensor parallelism для LLM training Чем отличается от инференса
- 463. Что такое activation recomputation (checkpointing) и зачем оно нужно
- 664. Что такое vanishing exploding gradients в трансформерах и как их предотвратить
- 800+ вопросов