Absolute Positional Encoding
Absolute Positional Encoding
Определение
Традиционный способ добавления информации о позиции токена в трансформерах, хуже обобщается на длинные последовательности по сравнению с RoPE.
Где встречается
- 278. Как работает RoPE (Rotary Position Embedding) и чем лучше абсолютных позиций
- 653. Что такое position encoding RoPE vs абсолютные позиции vs относительные позиции
- 668. Что такое индуктивные biases трансформеров (positional invariance, order sensitivity)
- 800+ вопросов