English translation is not available yet. Showing Russian content.
DistilBERT
DistilBERT
Определение
Облегчённая версия BERT, полученная дистилляцией, для задач классификации и QA с низкой задержкой.
Где встречается
- 34. Какая у вас была самая сложная проблема при fine-tuning и как вы её решили
- 37. Как вы избегаете переобучения при fine-tuning на маленьком датасете
- 298. Как вы тестируете robustness LLM к adversarial input (не только injection)
- 374. Как вы делаете query rewriting и query expansion в RAG
- 507. Что такое calibration в контексте reward model для RLHF
- 509. Как вы сравниваете две модели, если у них разная latency (быстрая неточная vs медленная точная)
- 571. Как работают verifier models для agentic RAG и зачем они нужны
- 596. Как работает model stealing attack (экстракция модели через API)
- 625. Что такое adversarial prompt detection для реального времени (runtime)
- 638. Как работает ∇-Reasoner (градиентный спуск в пространстве токенов на этапе теста)
- 654. Как работает LayerNorm и RMSNorm В чем разница и почему RMSNorm быстрее
- 683. Что такое data augmentation для LLM (back-translation, paraphrasing, masking)
- 697. Как вы масштабируете синтетическую генерацию до миллионов примеров (cost optimization)
- 700. Как вы комбинируете реальные и синтетические данные для максимального качества
- 780. Как измерять ROI от fine-tuning (окупается ли дообучение более дешёвым инференсом)
- 881. Что такое jailbreak taxonomy (полная классификация)
- 892. Как работают verifier models для agentic RAG
- 800+ вопросов
- 73. Сравнить spot vs on-demand для batch inference
- 77. Реализовать cost-aware routing
- 95. Написать runbook для synthetic data collapse
- 102. Настроить Guardrails на NeMo
- 133. Реализовать cost-aware routing
- 222. Агент для email