Selective Context
Selective Context
Определение
Техника сжатия контекста на основе метрик внимания модели, выбирающая только релевантные части для уменьшения длины промпта и снижения затрат.
Где встречается
- 70. Как вы снижаете стоимость LLM в production на 50%+
- 139. Как вы оцениваете cost-effectiveness LLM-пайплайна
- 800+ вопросов