субквадратичное внимание
субквадратичное внимание
Определение
Механизм внимания с вычислительной сложностью O(n) или O(n log n), характерный для моделей типа Hyena. Обеспечивает обработку длинных контекстов быстрее стандартного O(n²).
Механизм внимания с вычислительной сложностью O(n) или O(n log n), характерный для моделей типа Hyena. Обеспечивает обработку длинных контекстов быстрее стандартного O(n²).