selective pruning
selective pruning
Определение
Удаление менее важных частей диалога, шагов рассуждения или дублирующихся векторов для освобождения контекстного окна, снижения стоимости и уменьшения объёма хранилища.
Где встречается
- 164. Какие trade-offs между разными архитектурами speculative decoding
- 216. Как вы делаете load testing для LLM endpoint Какие метрики ключевые
- 393. Как вы измеряете «cost of reasoning» у агента (не только токены, но и шаги, время, ошибки)
- 435. Почему MoE (Mixture of Experts) быстрее dense модели при инференсе
- 440. Как работает speculative decoding Как выбрать draft модель
- 441. EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.
- 450. Что такое Wave Decoding и чем отличается от стандартного авторегрессивного
- 509. Как вы сравниваете две модели, если у них разная latency (быстрая неточная vs медленная точная)
- 631. Как вы делаете длинный контекст для RAG (100k+ токенов в контексте)
- 838. Как speculative decoding ускоряет inference (детально)
- 800+ вопросов