adaptive sparse attention
adaptive sparse attention
Определение
Разреженное внимание, в котором обученная голова предсказывает важность токенов, позволяя модели сосредоточиться на релевантных элементах и снизить вычислительные затраты.
Разреженное внимание, в котором обученная голова предсказывает важность токенов, позволяя модели сосредоточиться на релевантных элементах и снизить вычислительные затраты.