Выпуклая комбинация
Выпуклая комбинация
Определение
Выпуклая комбинация — это линейная комбинация точек (векторов) с неотрицательными коэффициентами, сумма которых равна 1. В контексте механизма внимания в нейронных сетях каждое выходное скрытое состояние является выпуклой комбинацией значений (Value), что позволяет модели интерпретируемо агрегировать информацию с весами внимания.