Relative Position Encoding
Relative Position Encoding
Определение
Метод позиционного кодирования, учитывающий относительные расстояния между токенами вместо абсолютных индексов. Примеры: RoPE, ALiBi. Предпочтителен при packing последовательностей.
Где встречается
- 278. Как работает RoPE (Rotary Position Embedding) и чем лучше абсолютных позиций
- 467. Что такое packing sequences и зачем он нужен
- 630. Как работает RoPE (Rotary Position Embeddings) для экстраполяции на длинные контексты
- 653. Что такое position encoding RoPE vs абсолютные позиции vs относительные позиции
- 668. Что такое индуктивные biases трансформеров (positional invariance, order sensitivity)
- 800+ вопросов