Language Model
Language Model
Определение
Language Model (языковая модель, LM) — это вероятностное распределение над последовательностями токенов. Она оценивает вероятность появления последовательности слов или символов в языке, что позволяет предсказывать следующий токен на основе предыдущих. Языковые модели являются основой многих задач NLP, включая генерацию текста, машинный перевод и распознавание речи.