cancellation_latency

Определение

Метрика, измеряющая время между моментом запроса отмены генерации и фактической остановкой вывода токенов. Важна для оценки отзывчивости системы.