Position IDs
Position IDs
Определение
Position IDs (позиционные идентификаторы) — это номера, присваиваемые каждому токену для указания его позиции в последовательности. При packing — объединении нескольких коротких последовательностей в одну для fine-tuning — необходимо корректно задать позиции: либо для каждого подсегмента заново (начиная с 0), либо глобально с использованием маски внимания, чтобы модель не смешивала контексты разных сегментов.