Vanilla Transformer

Определение

Vanilla Transformer — это исходная архитектура Transformer, в которой используется сегментное разбиение текста без механизма рекуррентности. Эффективный контекст модели ограничен размером одного сегмента (например, 512 токенов), что не позволяет учитывать зависимости между сегментами при обработке длинных последовательностей.

Где встречается

• 946. Что такое Transformer-XL? Как решает проблему ограниченного контекста через recurrence?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление