Per-token latency

Определение

Задержка генерации каждого последующего токена после первого при инференсе LLM; ключевая метрика производительности.

Где встречается

• 277. Что такое multi-query attention (MQA) и grouped-query attention (GQA) и зачем они

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление