Масштабирование
aliases: ["scaling factor", "scaling"] tags: [wiki, термин, general]
Масштабирование
Определение
Масштабирование (scaling) в механизме внимания Transformer — это деление скалярного произведения запроса (Query) и ключей (Key) на квадратный корень размерности ключей (√d_k). Эта операция предотвращает чрезмерно большие значения softmax, которые могут привести к насыщению и нестабильности градиентов. Фактор масштабирования позволяет сохранять веса внимания в разумном диапазоне.