Relative Positional Encoding
Relative Positional Encoding
Определение
Relative Positional Encoding (относительное позиционное кодирование) — метод представления порядка токенов в последовательности, при котором модель учитывает не абсолютные позиции, а расстояние (сдвиг) между текущим и целевым токенами. В отличие от абсолютного позиционного кодирования, такой подход позволяет модели лучше обобщать на последовательности разной длины и более эффективно обрабатывать локальные зависимости. В Transformer-XL относительное кодирование используется для работы с рекуррентным контекстом и устранения ограничений фиксированной длины.