Forget gate
Forget gate
Определение
Forget gate (забывающий гейт) — это механизм в LSTM-ячейке, который определяет, какую информацию из предыдущего состояния долговременной памяти (c_{t-1}) следует забыть. Он принимает значения от 0 до 1, где 0 означает полное забывание, а 1 — полное сохранение информации. Этот гейт позволяет сети избирательно очищать память, предотвращая переполнение ненужными данными.
Где встречается
- 934. Как работают рекуррентные нейросети (RNN, LSTM, GRU)? Почему трансформеры их вытеснили в NLP?
- 935. В чем проблема Vanishing Gradient в RNN и как LSTM её решает?