Поиск

• wikiMedusa-2

  # Medusa-2 ## Определение Метод спекулятивного декадинга с несколькими draft головами, который параллельно предсказывает несколько токенов для ускорения инференса. ## Где встречается…

• wikiSelf-Speculative Decoding

  # Self-Speculative Decoding ## Определение Метод ускорения декодирования, при котором target модель использует дополнительные головы (например, Medusa) для предсказания нескольких токенов…

• wikiIndependent heads

  # Independent heads ## Определение Конфигурация Medusa-1, где головы не разделяют веса и используют top-1 выбор для генерации множественных гипотез…

• wikiwall-clock speedup

  # wall-clock speedup ## Определение Реальное ускорение времени выполнения, измеряемое для методов speculative decoding (например, EAGLE-3, Medusa-2). ## Где встречается…

• answerЧто такое Medusa (multiple heads) для speculative decoding?

  …Варианты и улучшения Medusa - Medusa-1: базовая версия с независимыми головами и top-1 выбором. - [[Вики/Self-Speculative Decoding\|Medusa…

• wikiHidden state

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[713. Как работает…

• wikiFeature-Aware Speculative Decoding

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikiTop-1 selection

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] ## Навигация - [[00. Индекс…

• wikiKV-cache compression

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikiHydra

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikiWikiText-2

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[56. Реализовать diffusion…

• wikicandidate tree

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikiLookahead decoding

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] ## Навигация - [[00. Индекс…

• answerEAGLE-3 vs Medusa-2 vs Hydra: сравнение speculative decoding методов?

  …EAGLE-3 vs Medusa-2 vs Hydra: сравнение speculative decoding методов? ## Краткий тезис [[Вики/Wave Decoding\|Speculative decoding]] — это техника…

• wikiacceptance rate

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikivocabulary size

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[656. Как работает…

• wikiMemory Overhead

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikiTree Attention

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] ## Навигация - [[00. Индекс…

• wikid_model

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[676. Что такое…

• wikiKV-cache reuse

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[800+ вопросов|800…

• answerКакие trade-offs между разными архитектурами speculative decoding?

  …Архитектура Self-Speculative (Medusa) [[Вики/Self-Speculative Decoding\|Medusa]] (или [[Вики/Self-Speculative Decoding\|Self-Speculative]]) — подход, при котором [[Вики…

• wikidraft model

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikiforward pass

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikierror accumulation

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[545. Как работает…

• wikiMultiple Heads

  …Используется в методах speculative decoding, таких как Medusa-2. ## Где встречается - [[800+ вопросов|800+ вопросов]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiLinear heads

  # Linear heads ## Определение Дополнительные линейные слои, добавляемые поверх языковой модели, используемые в speculative decoding (например, Medusa) для параллельного предсказания нескольких…

• wikitarget model

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikiTree Cache Management

  # Tree Cache Management ## Определение Управление кэшем KV при параллельной верификации нескольких последовательностей (дерево) в архитектурах типа Medusa или Self-Speculative…

• wikiOpenWebText

  …Применяется, например, при обучении голов Medusa в speculative decoding. ## Где встречается - [[164. Какие trade-offs между разными архитектурами speculative decoding…

• wikirejection sampling

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[838. Как speculative…

• wikiFlash Attention 2

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikiselective pruning

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikitree search

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[636. Как вы…

• wikiмаскировка

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[466. Что такое…

• wikihidden representations

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikispeculative decoding

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• answerКак работает speculative decoding с несколькими draft моделями?

  …Ensemble-based подход (Medusa-2) [[Вики/Self-Speculative Decoding\|Medusa]] (и её версия Medusa-2) — это метод, при котором на…

• wikiGPTQ

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikiAWQ

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikibeam search

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[543. Как работает…

• wikiLLM distillation

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikiFFN

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[475. Почему tokenizer…

• wikiDistilGPT2

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[467. Что такое…

• wikicross-entropy loss

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[513. Что такое…

• wikibaseline

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[505. Как вы…

• wikiPerplexity

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…

• wikiTransformer

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[463. Что такое…

• wikiPyTorch

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[467. Что такое…

• wikiReAct Agent

  …Что такое Medusa (multiple heads) для speculative decoding|456. Что такое Medusa (multiple heads) для speculative decoding]] - [[475. Почему tokenizer…

• wikicontinuous batching

  …EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.|441. EAGLE-3 vs Medusa-2 vs Hydra сравнение…