English translation is not available yet. Showing Russian content.
Learned positional embeddings
Learned positional embeddings
Определение
Обучаемая матрица, которая добавляется к эмбеддингам токенов для кодирования их позиции в последовательности; используется в архитектурах GPT-2 и BERT.