tokens per word

Определение

Метрика эффективности токенизатора: среднее количество токенов на одно слово. Меньшее значение снижает затраты на обучение и инференс.