Blockwise Parallel Transformer

Определение

Архитектура трансформера, обрабатывающая длинные последовательности путём параллельного вычисления внимания по блокам для повышения эффективности.