OOV

Определение

Проблема незнакомых слов в word-level токенизации, решается использованием subword-токенизаторов (BPE, Unigram, SentencePiece).

Где встречается

• 284. Как работают современные tokenizers (BPE, Unigram, SentencePiece) и их ограничения

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление