Parallel Decoding
Parallel Decoding
Определение
Параллельное декодирование (Parallel Decoding) — подход к генерации последовательностей, при котором все шаги декодирования выполняются одновременно, а не последовательно. В контексте обучения декодера это становится возможным благодаря технике Teacher Forcing, когда на каждом шаге модели подаются истинные (ground truth) токены вместо предсказанных. Таким образом, вычисление потерь и обновление весов происходит для всех временных шагов параллельно, что значительно ускоряет обучение. Для инференса же обычно используется последовательное декодирование, если модель не является неавторегрессионной.