Encoder-only

Определение

Encoder-only — это архитектура нейронных сетей, использующая только кодировщик (encoder) из трансформера, без декодера. Такие модели, как BERT, предназначены для понимания контекста и построения двунаправленных представлений текста. В отличие от decoder-only моделей (например, GPT), которые генерируют текст авторегрессивно слева направо, encoder-only модели обрабатывают весь входной текст одновременно, что позволяет учитывать контекст с обеих сторон.

Где встречается

• 931. Что такое Sequence-to-Sequence (Seq2Seq) модели? Чем архитектура T5 отличается от GPT

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление