AutoTokenizer

Определение

Класс из библиотеки transformers, автоматически выбирающий подходящий токенизатор для заданной модели и подсчитывающий количество токенов.