RoFormer
RoFormer
Определение
RoFormer (Rotary Transformer) — архитектура Transformer, предложенная Google в 2021 году, которая вводит Rotary Position Embedding (RoPE) для кодирования относительных позиций токенов. В отличие от абсолютных позиционных эмбеддингов, RoPE применяет вращательные преобразования к query и key векторам, естественным образом моделируя относительные расстояния и обеспечивая более эффективное обобщение на длинные последовательности. Этот подход стал основой для многих современных моделей с длинным контекстом, таких как LLaMA и Mistral.