English translation is not available yet. Showing Russian content.
sparse softmax
sparse softmax
Определение
Разреженный softmax — модификация softmax, которая обнуляет малые значения, делая распределение разреженным. Применяется в механизмах внимания для интерпретируемости и эффективности.