context window
context window
Определение
Максимальное количество токенов, которое LLM может обработать за один раз. Ограничивает объём хранимой истории и влияет на управление длинными диалогами.
Где встречается
- 1. Как бы вы спроектировали RAG-систему для 10 000 документов с разной структурой
- 2 Как вы решаете проблему lost in the middle при работе с длинными контекстами
- 9. Как вы обновляете документы в существующей RAG-системе
- 14. Как вы обрезаете контекст, когда retrieved documents больше контекстного окна LLM
- 55. Как вы измеряете стоимость (токены) агентской системы
- 72. OpenAI vs Антропик vs Groq vs Self-hosted — что выбираете
- 80. Какие 3 книгикурса вы рекомендуете по production LLM
- 93. Как вы дебажите проблему LLM не следовала системному промпту
- 94. Как вы проектируете промпты, которые работают с разными моделями
- 115. Как вы обрабатываете большие таблицы в RAG (500+ строк)
- 144. Как вы передаете состояние (state) между шагами агента
- 198. Какие ограничения у language representation design
- 206. Что такое KV cache reuse в multi-turn диалогах и как его реализовать
- 290. Что такое Chain-of-Thought без токенов (latent CoT) и как это реализовано
- 446. Что такое chunked prefill и зачем он нужен
- 480. Как работает selective activation recomputation
- 632. Как работает Infini-attention (Google, 2024) для бесконечного контекста
- 656. Как работает кросс-энтропия (cross-entropy loss) для LLM обучения
- 798. Как тестировать промпты на регрессии (prompt regression suite)
- 805. Что такое «prompt linting» (статический анализ промптов)
- Практика
- 800+ вопросов
- 30. Настроить correlation между метриками
- 59. Сравнить архитектуры на reasoning задачах
- 135. Рассчитать ROI от fine-tuning