Transformer-XL

Определение

Архитектура трансформера с рекуррентностью и кэшем предыдущих сегментов, позволяющая обрабатывать длинные контексты без сжатия.

Где встречается

• 632. Как работает Infini-attention (Google, 2024) для бесконечного контекста
• 57. Настроить recurrent memory для long context

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление