heavy-tailed distribution
heavy-tailed distribution
Определение
Распределение, при котором большая часть значений сосредоточена в «лёгкой» части, а небольшое количество значений составляет «тяжёлый хвост». В контексте LLM описывает запросы по сложности: ~80% простых, ~20% сложных.
Где встречается
- 156. Как вы выбираете между увеличением тест-тайм компьютинга и использованием большей модели
- 800+ вопросов
- 125. Реализовать market-based делегирование
- 142. Реализовать cost-aware caching