LongLoRA
LongLoRA
Определение
Метод расширения контекстного окна модели через LoRA-адаптацию с разреженным вниманием. Требует полного контекста и не подходит для real-time.
Где встречается
- 627. Как вы тестируете long-context capability модели (бенчмарки RULER, Needle in a Haystack)
- 648. Что такое streaming LLM для бесконечного контекста (техника rollback)