中文翻译暂不可用，显示俄语原文。
Per-token latency
Per-token latency
Определение
Задержка генерации каждого последующего токена после первого при инференсе LLM; ключевая метрика производительности.
中文翻译暂不可用，显示俄语原文。
Задержка генерации каждого последующего токена после первого при инференсе LLM; ключевая метрика производительности.