PAD token

Определение

PAD token (токен-заполнитель) — это специальный токен, используемый для выравнивания последовательностей разной длины в батче до единой длины. В NLP-моделях он добавляется к коротким предложениям, чтобы все примеры в батче имели одинаковую размерность. При вычислении внимания (attention) позиции с PAD токенами маскируются (padding mask), чтобы модель не учитывала их при расчёте весов.

Где встречается

• 932. Объясните Attention как взвешенную сумму. Зачем нужна маска (padding mask) в энкодере

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление