Masking loss
Masking loss
Определение
Функция потерь, при которой токены инструкции маскируются, чтобы градиенты вычислялись только на выходных токенах (ответе модели). Применяется при fine-tuning для исключения влияния инструкции.
Функция потерь, при которой токены инструкции маскируются, чтобы градиенты вычислялись только на выходных токенах (ответе модели). Применяется при fine-tuning для исключения влияния инструкции.