Causal mask
Causal mask
Определение
Каузальная маска (causal mask), также известная как look-ahead mask, — это бинарная маска, используемая в механизме внимания в декодере трансформера. Она предотвращает учёт токенов из будущих позиций при вычислении внимания к текущему токену, обеспечивая авторегрессивную генерацию последовательности. В отличие от padding mask, который игнорирует паддинг, каузальная маска закрывает все токены с индексом больше текущего.