Out-of-vocabulary
Out-of-vocabulary
Определение
Out-of-vocabulary (OOV) — это термин, обозначающий слова, которые отсутствуют в словаре (vocabulary) модели NLP. Такие слова не могут быть напрямую представлены в виде векторов или токенов, что приводит к потере информации или ошибкам. Проблема OOV особенно актуальна для редких слов, имен собственных, аббревиатур и новых терминов.
Где встречается
- 926. Что такое Sparse Vector vs Dense Vector в контексте NLP? Назовите плюсы и минусы
- 929. Как токенизируются редкие слова (out-of-vocabulary) с помощью BPE или Unigram