Языковая модель
Языковая модель
Определение
Языковая модель — это вероятностная модель, предназначенная для предсказания следующего слова или оценки вероятности последовательности токенов в тексте. В машинном обучении такие модели обучаются на больших корпусах текстов и лежат в основе многих задач NLP, включая генерацию текста, машинный перевод и распознавание речи. Современные языковые модели (например, на базе трансформеров) способны учитывать контекст и порождать связные, осмысленные высказывания.