sparse softmaxsparse softmax Определение Разреженный softmax — модификация softmax, которая обнуляет малые значения, делая распределение разреженным. Применяется в механизмах внимания для интерпретируемости и эффективности. Где встречается 628. Что такое attention sink и почему он возникает в длинных контекстах Навигация Индекс терминов Индекс разборов Оглавление
sparse softmax Определение Разреженный softmax — модификация softmax, которая обнуляет малые значения, делая распределение разреженным. Применяется в механизмах внимания для интерпретируемости и эффективности. Где встречается 628. Что такое attention sink и почему он возникает в длинных контекстах Навигация Индекс терминов Индекс разборов Оглавление