GaLore

Определение

GaLore (Gradient Low-Rank Projection) — метод Parameter-Efficient Fine-Tuning (PEFT), который проецирует градиенты на низкоранговое подпространство, значительно снижая потребление памяти при обучении. Он поддерживается в фреймворке LLaMA-Factory и позволяет эффективно дообучать большие языковые модели с минимальными вычислительными затратами.

Где встречается

• 973. Какие фреймворки для fine-tuning вы используете?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление