Learnable embeddings

Определение

Векторные представления, которые настраиваются в процессе обучения модели. Например, learnable positional embeddings в трансформерах фиксируют позиции токенов.

Где встречается

• 630. Как работает RoPE (Rotary Position Embeddings) для экстраполяции на длинные контексты

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление