Decoder-only

Определение

Decoder-only — это архитектура Transformer, в которой используется только декодер, без энкодера. В отличие от моделей типа encoder-decoder (например, T5), decoder-only модели генерируют текст авторегрессивно, предсказывая следующий токен на основе предыдущих. Примером такой архитектуры является GPT, которая обучается на задаче предсказания следующего слова в последовательности.

Где встречается

• 931. Что такое Sequence-to-Sequence (Seq2Seq) модели? Чем архитектура T5 отличается от GPT?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление