batch matrix multiplication

Определение

Эффективная операция на GPU, выполняющая умножение матриц для множества запросов одновременно, что ускоряет prefill при инференсе LLM.

Где встречается

• 843. Что такое continuous batching и как оно влияет на throughput

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление