Kneser-Ney smoothing
aliases: ["сглаживание Кнезера-Нея"] tags: [wiki, термин, nlp]
Kneser-Ney smoothing
Определение
Kneser-Ney smoothing — это метод сглаживания n-граммовых языковых моделей, который улучшает оценку вероятностей редких n-грамм путём учёта разнообразия контекстов, в которых встречается слово (continuation count). В отличие от простых методов сглаживания, он использует абсолютное дисконтирование и интерполяцию, взвешивая вероятности по числу различных предшествующих контекстов, что даёт более точные оценки для низкочастотных событий.