English translation is not available yet. Showing Russian content.

Selective Attention

Selective Attention

Определение

Метод обработки длинных контекстов, при котором внимание вычисляется только для подмножества наиболее важных токенов, снижая сложность с O(n²) до O(n·k).

Где встречается

Навигация