Masked Language Modeling (MLM)

Определение

Masked Language Modeling (MLM) — метод предобучения языковых моделей, при котором случайная часть токенов во входной последовательности заменяется специальным токеном [MASK], а модель обучается восстанавливать исходные токены на основе контекста. В контексте мультимодальных моделей, таких как LayoutLMv3, маскирование применяется не только к текстовым токенам (обычно 15% от общего числа), но и к визуальным элементам (изображениям и bounding boxes), что позволяет модели учиться совместному представлению текста и изображений.

Где встречается

• 920. Как работает LayoutLMv3? Почему он лучше, чем просто OCR + BERT, для понимания отсканированных документов?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление