Masked Language Model (MLM)
Masked Language Model (MLM)
Определение
Masked Language Model (MLM) — это метод предобучения нейросетевых языковых моделей, при котором случайным образом выбирается и маскируется часть токенов во входной последовательности. Модель обучается восстанавливать эти маскированные токены на основе двустороннего контекста (слева и справа). В отличие от авторегрессионных моделей (например, GPT), MLM позволяет учитывать информацию с обеих сторон от маскированного слова, что делает её ключевой техникой в архитектуре BERT и её вариантах.