bucketing

Определение

Группировка последовательностей одинаковой или похожей длины в один батч для уменьшения избыточного паддинга и устранения динамических форм, что повышает эффективность обучения и инференса.

Где встречается

• 302. Что такое warp divergence в CUDA и как он влияет на attention
• 467. Что такое packing sequences и зачем он нужен
• 473. Что такое torch.compile и как он ускоряет training

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление