kernels

Определение

Оптимизированные вычислительные ядра для GPU, генерируемые torch.compile или вручную (PagedAttention, fused kernels). Промежутки между вызовами указывают на CPU launch overhead.

Где встречается

• 836. Почему vLLM быстрее TGI (Hugging Face Text Generation Inference)
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление