Batching
Batching
Определение
Batching (пакетная обработка) — техника объединения нескольких примеров в один пакет (batch) для параллельной обработки, что ускоряет вычисления и эффективнее использует ресурсы оборудования. В задачах NLP предложения в батче дополняются специальным токеном <PAD> до длины самого длинного, чтобы обеспечить единообразную форму тензоров. При использовании механизма внимания необходимо маскировать позиции с <PAD>, чтобы они не влияли на результат.