Additive attention

Определение

Механизм внимания с функцией сходства v^T tanh(W_q Q + W_k K), более выразительный за счет нелинейности, но медленнее скалярного произведения.

Где встречается

• 651. Как работает attention математически Выведите формулу scaled dot-product attention.

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление