Look-ahead mask
Look-ahead mask
Определение
Look-ahead mask (также известная как каузальная маска или маска будущего) — это маска, применяемая в декодере архитектуры Transformer для предотвращения доступа к будущим токенам при вычислении внимания. Она обнуляет веса внимания для пар токенов, где позиция запроса (query) предшествует позиции ключа (key), тем самым обеспечивая авторегрессионное свойство генерации последовательности. В отличие от padding mask, которая скрывает токены-заполнители, look-ahead mask скрывает все последующие токены в последовательности.