Positional Encoding
Positional Encoding
Определение
Positional Encoding — это способ представления порядка токенов в последовательности, применяемый в архитектурах Transformer. Поскольку механизм внимания сам по себе не учитывает позицию элементов, к каждому токену добавляется специальный вектор, кодирующий его абсолютное положение. В классическом варианте (оригинальный Transformer) используются либо фиксированные синусоидальные функции, либо обучаемые эмбеддинги.