Sinusoidal Positional Encoding
Sinusoidal Positional Encoding
Определение
Фиксированное синусоидальное позиционное кодирование из оригинального Transformer, не требующее обучения.
Где встречается
- 543. Как работает Whisper архитектурно для ASR (Automatic Speech Recognition)
- 630. Как работает RoPE (Rotary Position Embeddings) для экстраполяции на длинные контексты