Transformer encoder
Transformer encoder
Определение
Кодирующая часть архитектуры Transformer, которая преобразует входную последовательность (например, токены текста или признаки изображения) в контекстуализированные представления, учитывающие взаимосвязи между элементами через механизм самовнимания (self-attention). В отличие от декодера, энкодер обрабатывает данные целиком, без маскирования будущих позиций, и выдает векторные представления для каждого входного элемента. Этот блок лежит в основе многих моделей для понимания языка и мультимодальных задач.