English translation is not available yet. Showing Russian content.
Zero init
Zero init
Определение
Инициализация весов нейросети нулями, применяемая для bias-слоёв или residual-связей. В отличие от Xavier/Kaiming, используется редко из-за риска симметрии градиентов.