P‑tuning
P‑tuning
Определение
P‑tuning (Liu et al., 2022) — метод параметрически эффективной тонкой настройки (PEFT), который обучает небольшие наборы непрерывных (мягких) векторов — «virtual tokens» — и вставляет их не только перед входными слоями Transformer, но и внутри них. В отличие от Prefix Tuning, где обучаемые векторы добавляются исключительно на входе каждого слоя, P‑tuning размещает их в разных позициях внутри модели, что позволяет гибче адаптировать представления к задаче. Метод позволяет сохранить замороженными исходные веса модели и требует лишь малого числа дополнительных параметров.