Universal Transformer
Universal Transformer
Определение
Архитектура нейронной сети, расширяющая Transformer за счёт адаптивного времени вычислений и перекрёстного внимания между слоями. Позволяет модели динамически выбирать глубину обработки для каждого токена.