ignore_index
ignore_index
Определение
Параметр функции потерь (например, CrossEntropyLoss), используемый для маскирования определённых токенов при обучении. Токенам, помеченным значением ignore_index (обычно -100 в PyTorch и Hugging Face Transformers), не присваивается градиент, и они исключаются из расчёта потерь. Это позволяет игнорировать паддинг-токены или другие специальные элементы в последовательности.