long convolutional filters
long convolutional filters
Определение
Свёрточные фильтры большой длины (до 128k токенов), используемые в архитектуре Hyena для замены механизма attention, что позволяет обрабатывать длинные последовательности с линейной сложностью.