Causal attention

Causal attention

Определение

Архитектурная особенность авторегрессивных моделей (например, GPT), где каждый токен может «видеть» только предыдущие токены. Может способствовать positional bias при оценке.

Где встречается

Навигация