Поиск

• wikitrajectory distillation

  # trajectory distillation ## Определение Обучение маленькой модели (студента) генерировать короткие траектории, имитируя успешные траектории большой модели (учителя). ## Где встречается - [[895. Как…

• wikiLLM distillation

  # LLM distillation ## Определение Техника сжатия модели, где компактная модель-студент обучается имитировать поведение большой модели-учителя, минимизируя KL-дивергенцию. Позволяет…

• wikiagent distillation

  # agent distillation ## Определение Техника сжатия AI-агента, при которой маленькая модель обучается имитировать поведение большой модели-агента, используя её траектории…

• wikidefensive distillation

  # defensive distillation ## Определение Метод защиты от градиентных атак (white-box jailbreak), при котором модель обучается на «мягких» лейблах (soft labels…

• answerКак оптимизировать траектории агента (trajectory optimization)?

  …Дистилляция (Distillation) траекторий Термин **[[Вики/trajectory distillation\|дистилляция траекторий]] ([[Вики/trajectory distillation\|trajectory distillation]])** — [[Вики/training\|обучение]] маленькой модели (студента…

• answerКак вы масштабируете синтетическую генерацию до миллионов примеров (cost optimization)?

  …Distillation (дистилляция) **[[Вики/LLM distillation\|Дистилляция]]** — это процесс, при котором большая «учительская» [[Вики/model\|модель]] (например, [[Вики/gpt-3.5…

• answerЧто такое **agent distillation** (обучение маленького агента на траекториях большого)?

  …Термин: **Agent distillation** (дистилляция агента) **[[Вики/AI agents\|Agent]] [[Вики/LLM distillation\|distillation]]** — это процесс переноса знаний от крупного, высококачественного…

• answerКак вы защищаете LLM от градиентных атак (white-box jailbreak)?

  …Defensive Distillation (защитная дистилляция) Идея обучить «студента» на мягких метках ([[Вики/probabilistic label\|soft labels]]) от «учителя», что сглаживает выходные…

• answerКак вы уменьшаете latency RAG-системы (время ответа)?

  …Post-retrieval оптимизации ### 3.1 LLM distillation (дистилляция модели) Что такое дистилляция Обучение маленькой модели (студента) имитировать большую модель (учителя…

• answerКак работает model inversion атака (восстановление training данных)?

  …для LLM – не давать продолжать подозрительные промпты). - Прунинг и дистилляция – уменьшить размер модели, снижая ёмкость для запоминания. - Обфускация выходов – добавлять…

• answerКак работает model stealing attack и как защититься?

  …Используется дистилляция (distillation) — минимизация расхождения между распределениями вероятностей целевой и студенческой модели. Формально пусть $p_{\[[Вики/text\|text]]{[[Вики/target…

• answerКак вы предотвращаете catastrophic forgetting при fine-tuning?

  …похож на [[Вики/EWC\|EWC]], но оценивает важность по чувствительности выхода. - **Learning without Forgetting (LwF)**: [[Вики/LLM distillation\|дистилляция]] — используем…

• answerЧто такое KL divergence и где она применяется в LLM (RLHF, distillation)?

  …KL divergence в дистилляции (Knowledge Distillation) **[[Вики/LLM distillation\|Дистилляция]]** — перенос знаний от большой модели (teacher) к маленькой ([[Вики/student…

• answerЧто такое logits и как они связаны с вероятностями? temperature scaling?

  …Что такое loss landscape LLM и как оно влияет на обучение (sharp vs flat minima)\|670]] | Как работает дистилляция знаний…

• answerКак работает speculative decoding? Как выбрать draft модель?

  …Что такое prefix caching и когда он эффективен\|442]] | Pruning и дистилляция | | [[435. Почему MoE (Mixture of Experts) быстрее dense…

• answerКак работает model extraction attack и как защититься?

  …для обучения **[[Вики/student model\|surrogate model]]** (суррогатной модели): - **Дистилляция** ([[Вики/LLM distillation\|knowledge distillation]]) — студент учится имитировать распределение токенов…

• answerКак вы оцениваете cost-effectiveness LLM-пайплайна?

  …подача только релевантных чанков (через retrieval). ### 8.3 Модельная дистилляция - Обучение маленькой модели (студента) имитировать большую (учителя) на целевых данных…

• answerКак работает model stealing attack (экстракция модели через API)?

  …по токенам до softmax; дают больше информации, чем сэмплы. | | **Дистилляция** | Техника обучения студента на выходах учителя; в атаке используется экстракция…

• answerКак вы защищаете LLM от градиентных атак (white-box jailbreak)?

  …Defensive Distillation (дистилляция с защитой) Идея: обучить студента (`[[Вики/student model\|student]]`) на [[Вики/Soft labels\|soft labels]] ([[Вики/probability…

• answerЧто такое Quasar и как quantized verification ускоряет инференс?

  …throughput | ~0% | Низкая (PTQ) | | [[Вики/LLM distillation\|Knowledge distillation]] (дистилляция в маленькую модель) | +50-100% | 2-5% | Высокая (обучение студента…

• answerКак работают Tensor Cores в H100/B200 и для чего они нужны?

  …Как работает paged attention в vLLM Чем это отличается от стандартного attention механизма\|202]] | Дистилляция знаний | | [[301. Как устроена иерархия…

• answerКак вы оцениваете cost-effectiveness LLM-пайплайна?

  …20–50% без потери качества. ### 5.4 Model distillation (дистилляция) - Обучите маленькую модель (student) имитировать большую (teacher) на размеченных данных…

• answerЧто такое ONNX Runtime и когда он выгоден для LLM?

  …Что такое operator fusion в компиляторах и какие паттерны fusion существуют\|322]] | Дистилляция знаний для LLM | | [[323. Как вы деплоите…

• answerКак вы выбираете между online и batch инференсом для LLM?

  …Если нужно качество большой модели (70B+), применяют [[Вики/LLM distillation\|distillation]] (дистилляция) — обучение малой модели имитировать большую. --- ## 4. Batch инференс…

• answerКак работает speculative decoding на уровне логитов, а не токенов?

  …Как работает градиентный анализ для объяснения решений LLM\|287]] | Что такое дистилляция моделей и как она применяется? | | [[291. Как вы…