English translation is not available yet. Showing Russian content.
Query/Key/Value vectors
Query/Key/Value vectors
Определение
В механизме внимания (attention) входные векторы преобразуются в три набора: Query (запрос), Key (ключ) и Value (значение). Query и Key используются для вычисления весов внимания, а Value — для взвешенного суммирования. В RoPE вращаются только Query и Key.