Extrapolation
Extrapolation
Определение
Способность модели обрабатывать последовательности длиннее тех, на которых она обучалась, например, за счёт позиционных эмбеддингов типа RoPE. Позволяет модели работать с контекстами, выходящими за пределы тренировочной длины.
Где встречается
- 630. Как работает RoPE (Rotary Position Embeddings) для экстраполяции на длинные контексты
- 668. Что такое индуктивные biases трансформеров (positional invariance, order sensitivity)