context window

Определение

Максимальное количество токенов, которое LLM может обработать за один раз. Ограничивает объём хранимой истории и влияет на управление длинными диалогами.

Где встречается

• 1. Как бы вы спроектировали RAG-систему для 10 000 документов с разной структурой
• 2 Как вы решаете проблему lost in the middle при работе с длинными контекстами
• 9. Как вы обновляете документы в существующей RAG-системе
• 14. Как вы обрезаете контекст, когда retrieved documents больше контекстного окна LLM
• 55. Как вы измеряете стоимость (токены) агентской системы
• 72. OpenAI vs Антропик vs Groq vs Self-hosted — что выбираете
• 80. Какие 3 книгикурса вы рекомендуете по production LLM
• 93. Как вы дебажите проблему LLM не следовала системному промпту
• 94. Как вы проектируете промпты, которые работают с разными моделями
• 115. Как вы обрабатываете большие таблицы в RAG (500+ строк)
• 144. Как вы передаете состояние (state) между шагами агента
• 198. Какие ограничения у language representation design
• 206. Что такое KV cache reuse в multi-turn диалогах и как его реализовать
• 290. Что такое Chain-of-Thought без токенов (latent CoT) и как это реализовано
• 446. Что такое chunked prefill и зачем он нужен
• 480. Как работает selective activation recomputation
• 632. Как работает Infini-attention (Google, 2024) для бесконечного контекста
• 656. Как работает кросс-энтропия (cross-entropy loss) для LLM обучения
• 798. Как тестировать промпты на регрессии (prompt regression suite)
• 805. Что такое «prompt linting» (статический анализ промптов)
• Практика
• 800+ вопросов
• 30. Настроить correlation между метриками
• 59. Сравнить архитектуры на reasoning задачах
• 135. Рассчитать ROI от fine-tuning

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление