Gate
Gate
Определение
Gate (вентиль) — элемент архитектуры рекуррентных нейронных сетей, управляющий потоком информации через сигмоидную активацию $\sigma$, значения которой лежат в интервале (0,1). Три основных вентиля LSTM (забывающий, входной и выходной) регулируют, какую информацию сохранять, добавлять или выдавать на каждом шаге.