中文翻译暂不可用，显示俄语原文。
Vanilla Transformer
Vanilla Transformer
Определение
Vanilla Transformer — это исходная архитектура Transformer, в которой используется сегментное разбиение текста без механизма рекуррентности. Эффективный контекст модели ограничен размером одного сегмента (например, 512 токенов), что не позволяет учитывать зависимости между сегментами при обработке длинных последовательностей.