AutoTokenizer

Определение

Класс из библиотеки transformers, автоматически выбирающий подходящий токенизатор для заданной модели и подсчитывающий количество токенов.

Где встречается

• 134. Настроить token budget для агента

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление