target model
target model
Определение
Основная LLM, которая проверяет и принимает/отклоняет токены от draft модели в speculative decoding, или используется как верификатор в agentic RAG.
Где встречается
- 103. Какие оптимизаторы (teleprompters) в DSPy вы использовали и когда BootstrapFewShot, MIPRO, COPRO
- 139. Как вы оцениваете cost-effectiveness LLM-пайплайна
- 151. Что такое тест-тайм компьютинг (Test-Time Compute) и чем он отличается от обычного инференса
- 157. Какие есть методы ускорения тест-тайм компьютинга (KV-cache, speculative decoding)
- 158. Что такое EAGLE-3 и чем он отличается от стандартного speculative decoding
- 159. Как speculative decoding взаимодействует с KV cache
- 160. Что такое Variational Speculative Decoding (VSD) и чем он революционен
- 161. Как вы измеряете эффективность speculative decoding
- 164. Какие trade-offs между разными архитектурами speculative decoding
- 212. Как работает speculative decoding с несколькими draft моделями
- 220. Как вы выбираете между online и batch инференсом для LLM
- 440. Как работает speculative decoding Как выбрать draft модель
- 441. EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.
- 456. Что такое Medusa (multiple heads) для speculative decoding
- 571. Как работают verifier models для agentic RAG и зачем они нужны
- 582. Как работает agent self-improvement через self-reflection on failures
- 587. Как работает agent with external tool verification (проверка результатов API)
- 759. Какие книги или ресурсы вы рекомендуете по Harness Engineering
- 838. Как speculative decoding ускоряет inference (детально)
- 892. Как работают verifier models для agentic RAG
- Практика
- 800+ вопросов
- 26. Реализовать SLO для faithfulness
- 188. Настроить monitoring сообщений
- 220. Настроить wave decoding для коротких ответов
- 262. Настроить дашборд для failures