Dynamic LoRA Scheduling

Определение

Dynamic LoRA Scheduling — это техника управления выполнением запросов к нескольким LoRA адаптерам, при которой на этапе формирования батча запросы группируются по идентификатору адаптера и обрабатываются блоками. Такой подход позволяет эффективно переключаться между адаптерами без перезагрузки базовой модели, минимизируя накладные расходы на загрузку весов.

Где встречается

• 959. Как деплоить несколько LoRA адаптеров без перезагрузки базовой модели (Punica, S-LoRA)?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление