English translation is not available yet. Showing Russian content.
residual connection
residual connection
Определение
Прямой путь, обходящий один или несколько слоёв, который добавляет вход слоя к его выходу (output = x + F(x)). Это позволяет градиентам проходить напрямую, решая проблему затухающих градиентов в глубоких сетях.
Где встречается
- 311. Что такое CUDA graphs и как они ускоряют LLM инференс
- 543. Как работает Whisper архитектурно для ASR (Automatic Speech Recognition)
- 672. Что такое residual connections и зачем они нужны в трансформере
- 673. Как работает нормализация перед attention (pre-norm) vs после (post-norm)
- 675. Как работает dropout и зачем он нужен в LLM (regularization)
- 676. Что такое residual stream и как он связан с информационным потоком в трансформере
- 677. Как работает forward pass LLM от токена до вероятности следующего токена
- 800+ вопросов
- 67. Реализовать latent reasoning (∇-Reasoner)