Span Masking

Определение

Вариант маскирования, при котором скрываются целые фразы, а не отдельные токены; используется в модели T5 для улучшения понимания контекста.