Soft prompts
Soft prompts
Определение
Soft prompts — это виртуальные токены, которые обучаются с помощью градиентного спуска, в отличие от ручного подбора промптов (prompt engineering). Они добавляются к входной последовательности и позволяют адаптировать модель к конкретной задаче без изменения весов самой модели. Такие промпты используются в методах P-tuning и Prefix tuning для эффективной настройки больших языковых моделей.