BPTT

Определение

Backpropagation Through Time (BPTT) — метод обучения рекуррентных нейронных сетей, разворачивающий сеть во времени и применяющий обратное распространение ошибки. Используется при обучении RWKV, но медленнее параллельного обучения Transformer и страдает от затухания градиентов.

Где встречается

• 714. RWKV (RNN with Transformer attention) как комбинирует RNN и attention

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление