DistilBERT

Определение

Облегчённая версия BERT, полученная дистилляцией, для задач классификации и QA с низкой задержкой.

Где встречается

• 34. Какая у вас была самая сложная проблема при fine-tuning и как вы её решили
• 37. Как вы избегаете переобучения при fine-tuning на маленьком датасете
• 298. Как вы тестируете robustness LLM к adversarial input (не только injection)
• 374. Как вы делаете query rewriting и query expansion в RAG
• 507. Что такое calibration в контексте reward model для RLHF
• 509. Как вы сравниваете две модели, если у них разная latency (быстрая неточная vs медленная точная)
• 571. Как работают verifier models для agentic RAG и зачем они нужны
• 596. Как работает model stealing attack (экстракция модели через API)
• 625. Что такое adversarial prompt detection для реального времени (runtime)
• 638. Как работает ∇-Reasoner (градиентный спуск в пространстве токенов на этапе теста)
• 654. Как работает LayerNorm и RMSNorm В чем разница и почему RMSNorm быстрее
• 683. Что такое data augmentation для LLM (back-translation, paraphrasing, masking)
• 697. Как вы масштабируете синтетическую генерацию до миллионов примеров (cost optimization)
• 700. Как вы комбинируете реальные и синтетические данные для максимального качества
• 780. Как измерять ROI от fine-tuning (окупается ли дообучение более дешёвым инференсом)
• 881. Что такое jailbreak taxonomy (полная классификация)
• 892. Как работают verifier models для agentic RAG
• 800+ вопросов
• 73. Сравнить spot vs on-demand для batch inference
• 77. Реализовать cost-aware routing
• 95. Написать runbook для synthetic data collapse
• 102. Настроить Guardrails на NeMo
• 133. Реализовать cost-aware routing
• 222. Агент для email

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление