Padding
Padding
Определение
Padding (дополнение) — добавление специальных пустых токенов (например, [PAD]) к последовательностям в батче, чтобы все они имели одинаковую длину. Прямое использование паддинга до максимальной длины в батче ведёт к потере памяти и времени на обработку пустых токенов, так как модель вычисляет эмбеддинги и для них.
Где встречается
- 976. Как вы делаете fine-tuning на последовательностях разной длины
- 975. Какую функцию потерь использовать для fine-tuning на диалогах