Transformer Decoder
Transformer Decoder
Определение
Transformer Decoder — это компонент архитектуры Transformer, отвечающий за генерацию выходной последовательности на основе закодированного представления входных данных. Он состоит из стека идентичных слоев, каждый из которых включает маскированный多头 самовнимание (для предотвращения "подглядывания" в будущие токены), кросс-внимание к выходу энкодера и полносвязную сеть прямого распространения. В отличие от энкодера, декодер использует авторегрессивный механизм, генерируя токены последовательно, где каждый новый токен зависит от предыдущих.