BitFit

Определение

BitFit — техника Parameter-Efficient Fine-Tuning (PEFT), при которой во время дообучения обновляются только bias-параметры (смещения) модели, а все остальные веса остаются замороженными. Это позволяет значительно сократить количество обучаемых параметров и вычислительные затраты, сохраняя при этом конкурентоспособную производительность. BitFit особенно эффективен для трансформерных архитектур.

Где встречается

• 961. Parameter-Efficient Fine-Tuning (PEFT)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление