English translation is not available yet. Showing Russian content.
Selective Attention
Selective Attention
Определение
Метод обработки длинных контекстов, при котором внимание вычисляется только для подмножества наиболее важных токенов, снижая сложность с O(n²) до O(n·k).