Router

Определение

Компонент, который классифицирует входящий запрос и направляет его к соответствующему обработчику (модели, агенту, эксперту MoE) на основе сложности, домена или задачи.

Где встречается

• 7. Как вы уменьшаете latency RAG-системы (время ответа)
• 64. Как вы обеспечиваете низкую задержку (500ms) для LLM
• 65. Как вы обрабатываете rate limiting от LLM провайдеров (OpenAI, Anthropic)
• 70. Как вы снижаете стоимость LLM в production на 50%+
• 109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production
• 435. Почему MoE (Mixture of Experts) быстрее dense модели при инференсе
• 453. Как работает continuous batching в TGI (Hugging Face Text Generation Inference)
• 509. Как вы сравниваете две модели, если у них разная latency (быстрая неточная vs медленная точная)
• 519. Как вы делаете backfill эмбеддингов при смене embedding модели
• 593. Как работает agent handover (передача задачи другому агенту)
• 772. Что такое «аутсорсинг» задачи другому LLM (с другим API, другой ценой)
• 790. Что такое «canary testing» для агентов (10% трафика на новую версию)
• 831. Как проектировать graceful degradation при отказе vector DB
• 849. Что такое expert parallelism для MoE моделей (Mixtral)
• Практика
• 800+ вопросов
• 94. Реализовать failure injection для MoE router
• 127. Реализовать outsourcing другому LLM
• 249. RAG с cost-aware routing

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление