LLMLingua
LLMLingua
Определение
Метод сжатия контекста, удаляющий неважные слова с помощью LLM для уменьшения количества токенов и затрат без существенной потери качества.
Где встречается
- 14. Как вы обрезаете контекст, когда retrieved documents больше контекстного окна LLM
- 139. Как вы оцениваете cost-effectiveness LLM-пайплайна
- 219. Что такое prompt caching у провайдеров (Anthropic, Google) и как его использовать
- 800+ вопросов