cancellation_rate

Определение

Метрика, показывающая долю запросов к LLM, которые были отменены (пользователем или системой) до завершения генерации. Используется для мониторинга поведения пользователей и эффективности системы.

Где встречается

• 88. Как бы вы добавили отмену (cancellation) для длительных LLM операций

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление