CausalLM
CausalLM
Определение
CausalLM (каузальная языковая модель) — это тип языковой модели, предсказывающий следующий токен, исходя только из предыдущих (левых) токенов, без доступа к правому контексту. Такая модель работает авторегрессионно: при обучении loss вычисляется на каждом токене, кроме первого, причём обычно учитываются только токены самой последовательности (без padding/packing-разделителей). Примеры: GPT, LLaMA.