token
token
Определение
Базовая единица обработки текста в языковых моделях; представляет собой слово, подслово или символ, используемый для расчёта стоимости и длины контекста.
Где встречается
- 3 Какие стратегии chunking'а вы знаете и когда какую применяете
- 14. Как вы обрезаете контекст, когда retrieved documents больше контекстного окна LLM
- 78. Какие LLM для русского языка вы используете
- 141. В чем разница между Naive RAG, Adaptive RAG и Agentic RAG
- 178. Чем отличается эвалюация LLM от эвалюации традиционных ML моделей
- 182. Что такое «схема» (schema) в контексте LLM и как она связана с языковым представлением
- 454. Что такое prompt caching у провайдеров (Anthropic, Google) и как его использовать
- 530. Как вы делаете data quality monitoring для RAG корпуса
- 784. Как строить финансовую модель LLM-продукта для бизнеса
- 800+ вопросов
- 109. Настроить cost tracking для агента
- 135. Рассчитать ROI от fine-tuning