masked language modeling
masked language modeling
Определение
Метод предобучения NLP-моделей, при котором случайно замаскированные токены в тексте предсказываются по контексту. Используется в неавторегрессионных моделях, таких как BERT.
Где встречается
- 450. Что такое Wave Decoding и чем отличается от стандартного авторегрессивного
- 553. Что такое LayoutLMv3 и зачем он для document understanding
- 727. Как LLM применяются для protein folding (AlphaFold 3, ESM3) Архитектура и отличия
- 279. Настроить adversarial evaluation для RAG