Additive attention

Additive attention

Определение

Механизм внимания с функцией сходства v^T tanh(W_q Q + W_k K), более выразительный за счет нелинейности, но медленнее скалярного произведения.

Где встречается

Навигация