Custom CUDA kernel

Определение

Пользовательское ядро CUDA, реализующее attention для работы с разрозненными физическими блоками памяти, оптимизированное для paged attention в vLLM.

Где встречается

• 202. Как работает paged attention в vLLM Чем это отличается от стандартного attention механизма

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление