Universal Transformer

Определение

Архитектура нейронной сети, расширяющая Transformer за счёт адаптивного времени вычислений и перекрёстного внимания между слоями. Позволяет модели динамически выбирать глубину обработки для каждого токена.

Где встречается

• 299. Как работает attention между слоями (cross-layer attention) в современных архитектурах

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление