TokenTextSplitter

Определение

Стратегия чанкинга в LlamaIndex, разбивающая текст на фрагменты по лимиту токенов. Используется для подготовки данных к индексации и поиску.