Masking
Masking
Определение
Masking (маскирование потерь) — техника, используемая при обучении языковых моделей, при которой некоторые токены исключаются из вычисления функции потерь. Обычно применяется для игнорирования вклада токенов промпта (чтобы модель училась только на ответах) и токенов паддинга (чтобы пустые позиции не искажали градиент). Это позволяет фокусироваться только на значимых частях последовательности.