GEMM (General Matrix Multiply) в LLM

Определение

Основные операции в LLM (Attention QK^T, PV, FFN) являются GEMM и выполняются через Tensor Cores. Это ключевой аспект оптимизации инференса.

Где встречается

• 705. Как работает Tensor Core microarchitecture (WGMMA, MMA инструкции) в H100

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление