Selective Attention
Selective Attention
Определение
Метод обработки длинных контекстов, при котором внимание вычисляется только для подмножества наиболее важных токенов, снижая сложность с O(n²) до O(n·k).
Метод обработки длинных контекстов, при котором внимание вычисляется только для подмножества наиболее важных токенов, снижая сложность с O(n²) до O(n·k).