kernel
kernel
Определение
Программный компонент, выполняемый на GPU множеством потоков. LLM-инференс использует kernels для операций attention, matmul и других; оптимизация включает fusion и auto-tuning под конкретное железо.
Программный компонент, выполняемый на GPU множеством потоков. LLM-инференс использует kernels для операций attention, matmul и других; оптимизация включает fusion и auto-tuning под конкретное железо.