Padding

Определение

Padding (дополнение) — добавление специальных пустых токенов (например, [PAD]) к последовательностям в батче, чтобы все они имели одинаковую длину. Прямое использование паддинга до максимальной длины в батче ведёт к потере памяти и времени на обработку пустых токенов, так как модель вычисляет эмбеддинги и для них.

Где встречается

• 976. Как вы делаете fine-tuning на последовательностях разной длины
• 975. Какую функцию потерь использовать для fine-tuning на диалогах

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление