Prefix LM
Prefix LM
Определение
Prefix LM (prefix language model) — это архитектура языковой модели, в которой начальная часть последовательности (префикс) обрабатывается двунаправленно (без каузальной маски), а оставшаяся часть генерируется авторегрессивно. Такая модель сочетает преимущества двунаправленного контекста для префикса и эффективную генерацию продолжения. В отличие от T5, где энкодер полностью двунаправлен для всей последовательности, а декодер каузален, Prefix LM реализует обе функции в единой модели, ограничивая двунаправленное внимание лишь префиксом.