Поиск

• answerЧто такое residual stream и как он связан с информационным потоком в трансформере?

  …Таким образом, [[Вики/residual stream\|residual stream]] остаётся «чистым» и не искажается нормализацией. Каждый подуровень добавляет к [[Вики/residual stream…

• wikiresidual stream

  # residual stream ## Определение Непрерывный вектор, проходящий через все слои трансформера, к которому каждый слой добавляет свой выход через skip connection…

• wikiresidual connection

  …Что такое residual stream и как он связан с информационным потоком в трансформере|676. Что такое residual stream и как…

• wikid_model

  # d_model ## Определение Скрытая размерность представлений в трансформере (например, 4096 для LLaMA-7B), фиксированная в residual stream. ## Где встречается - [[456…

• wikiIdentity mapping

  …Что такое residual stream и как он связан с информационным потоком в трансформере|676. Что такое residual stream и как…

• wikipost-norm

  …Что такое residual stream и как он связан с информационным потоком в трансформере|676. Что такое residual stream и как…

• wikivanishing gradients

  …Что такое residual stream и как он связан с информационным потоком в трансформере|676. Что такое residual stream и как…

• wikiMechanistic interpretability

  …Что такое residual stream и как он связан с информационным потоком в трансформере|676. Что такое residual stream и как…

• wikipre-normalization

  …Что такое residual stream и как он связан с информационным потоком в трансформере|676. Что такое residual stream и как…

• wikiResNet

  …Что такое residual stream и как он связан с информационным потоком в трансформере|676. Что такое residual stream и как…

• answerЧто такое logit lens (интерпретация скрытых состояний)?

  …Связь с residual stream и attention **[[Вики/residual stream\|Residual stream]]** — это сумма скрытых состояний всех предыдущих слоёв. [[Вики/logit…

• wikiLayerNorm

  …Что такое residual stream и как он связан с информационным потоком в трансформере|676. Что такое residual stream и как…

• answerЧто такое logit lens и как он помогает понимать внутренние представления?

  …Обычно берут состояния после [[Вики/residual stream\|residual stream]] (выход слоя до следующего attention/FFN). 2. Для каждого слоя $l…

• wikiMulti-Head Attention

  …Что такое residual stream и как он связан с информационным потоком в трансформере|676. Что такое residual stream и как…

• wikiFFN

  …Что такое residual stream и как он связан с информационным потоком в трансформере|676. Что такое residual stream и как…

• wikiPosition Encoding

  …Что такое residual stream и как он связан с информационным потоком в трансформере|676. Что такое residual stream и как…

• answerКак работает dropout и зачем он нужен в LLM? (regularization)

  …Что такое residual stream и как он связан с информационным потоком в трансформере\|676]] | Какие методы регуляризации используются при обучении…

• answerКак работает нормализация перед attention (pre-norm) vs после (post-norm)?

  …Что такое residual stream и как он связан с информационным потоком в трансформере\|676]] | Feed-Forward Network (FFN) в трансформере…

• wikiembedding-модель

  …Что такое residual connections и зачем они нужны в трансформере|672. Что такое residual connections и зачем они нужны в…

• answerКак работает forward pass LLM: от токена до вероятности следующего токена?

  …Что такое residual stream и как он связан с информационным потоком в трансформере\|676]] - Следующий: [[678. Как работает greedy decoding…

• answerЧто такое CUDA graphs и как они ускоряют LLM инференс?

  …два линейных слоя с активацией. - **[[Вики/LayerNorm\|LayerNorm]], [[Вики/residual connections\|residual connections]]**. Все эти операции имеют статический [[Вики/computation…

• answerКак вы дебажите низкую GPU utilization (например, 40% на A100)?

  …передавать данные заранее (prefetch), использовать [[Вики/CUDA streams\|CUDA streams]] для асинхронных копий. - Для inference: держать модель в GPU, не…

• wikiИндекс терминов

  …residual connection|residual connection]] - [[Вики/residual connections|residual connections]] - [[Вики/Residual dropout|Residual dropout]] - [[Вики/residual stream|residual stream]] - [[Вики…

• indexИндекс разборов

  …Что такое residual stream и как он связан с информационным потоком в трансформере\|676. Что такое residual stream и как…

• question_bankЧАСТЬ 1: RAG-СИСТЕМЫ (20 вопросов)

  …Что такое residual stream и как он связан с информационным потоком в трансформере?** > _Ответ:_ Residual stream — непрерывный вектор, который проходит…

• indexОглавление

  …Что такое residual stream и как он связан с информационным потоком в трансформере\|676. Что такое residual stream и как…