English translation is not available yet. Showing Russian content.
Entropy
Entropy
Определение
Мера неопределённости распределения вероятностей токенов на выходе LLM; высокая энтропия указывает на неуверенность модели и используется для отбраковки низкокачественных ответов или детекции коллапса распределения.
Где встречается
- 62. Какие метрики вы мониторите для LLM в production
- 166. Назовите 7 production failure modes для agentic AI систем по PAEF (Pandey, 2026).
- 181. В чем проблема «natural language bottleneck» для LLM
- 291. Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)
- 499. Как вы оцениваете alignment модели с человеческими ценностями без gold standard
- 685. Как вы детектируете и удаляете низкокачественные примеры из синтетического датасета
- 696. Что такое active learning для сбора синтетических данных
- 800+ вопросов
- 95. Написать runbook для synthetic data collapse
- 275. Реализовать active learning loop
- 290. Реализовать swarm coordination