packing sequences
packing sequences
Определение
Техника объединения нескольких коротких последовательностей разной длины в одну с разделителем EOS и attention mask для повышения эффективности обучения и инференса за счёт уменьшения паддинга.
Где встречается
- 467. Что такое packing sequences и зачем он нужен
- 476. Как работает packing для variable-length sequences в FSDP
- 738. Назовите 12+ слоёв эталонной архитектуры Harness.
- 800+ вопросов