English translation is not available yet. Showing Russian content.
Position Interpolation
Position Interpolation
Определение
Техника растяжения позиционных индексов (m → m/scale) для адаптации RoPE к длинным последовательностям без полного переобучения, часто требует fine-tuning.
Где встречается
- 627. Как вы тестируете long-context capability модели (бенчмарки RULER, Needle in a Haystack)
- 630. Как работает RoPE (Rotary Position Embeddings) для экстраполяции на длинные контексты
- 639. Как вы делаете model selection для long context (какая модель лучше держит 100k+)
- 800+ вопросов