Exponential decay initialization
Exponential decay initialization
Определение
Метод инициализации весов нейросети, при котором значения импульсов экспоненциально затухают, обеспечивая стабильность градиентов и предотвращая их взрыв, как в фильтрах Hyena.