Constant Error Carousel

Определение

Constant Error Carousel (CEC) — это механизм в LSTM, который позволяет градиенту ошибки проходить через cell state без затухания или взрыва на протяжении многих временных шагов. Это достигается за счет того, что производная cell state по предыдущему cell state равна значению forget gate (f_t), что позволяет сохранять градиент, если forget gate открыт. Таким образом, CEC решает проблему vanishing gradient в обычных RNN.

Где встречается

• 935. В чем проблема Vanishing Gradient в RNN и как LSTM её решает?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление