NFKC

Определение

Нормализация Unicode, используемая в токенизаторах, например SentencePiece, для приведения текста к каноническому виду. Упрощает сопоставление символов.

Где встречается

• 284. Как работают современные tokenizers (BPE, Unigram, SentencePiece) и их ограничения

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление