Extrapolation

Определение

Способность модели обрабатывать последовательности длиннее тех, на которых она обучалась, например, за счёт позиционных эмбеддингов типа RoPE. Позволяет модели работать с контекстами, выходящими за пределы тренировочной длины.

Где встречается

• 630. Как работает RoPE (Rotary Position Embeddings) для экстраполяции на длинные контексты
• 668. Что такое индуктивные biases трансформеров (positional invariance, order sensitivity)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление