Unigram

Определение

Вероятностный алгоритм токенизации, выбирающий токены, минимизирующие энтропию; используется в SentencePiece, ALBERT, XLNet.

Где встречается

• 284. Как работают современные tokenizers (BPE, Unigram, SentencePiece) и их ограничения
• 475. Почему tokenizer влияет на стоимость training
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление