Dynamic batching
Dynamic batching
Определение
Dynamic batching — это техника оптимизации обучения нейронных сетей на последовательностях разной длины, при которой внутри каждого батча группируются примеры с похожей длиной. В отличие от packing (объединения нескольких последовательностей в одну), dynamic batching не склеивает примеры, а подбирает их так, чтобы минимизировать количество паддинга и выровнять вычислительную загрузку. Это позволяет повысить пропускную способность и ускорить обучение.