MLM

Определение

Masked Language Modeling (MLM) — это метод обучения языковых моделей, при котором случайные токены во входной последовательности заменяются специальным токеном [MASK], и модель обучается предсказывать исходные токены на основе контекста. Этот подход лежит в основе таких моделей, как BERT и XLM-RoBERTa. MLM позволяет модели изучать двунаправленные контекстные представления слов.

Где встречается

• 916. Что такое Zero-shot Classification на базе NLI (Natural Language Inference) или с использованием XLM-RoBERTa?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление