tokens_wasted

Определение

Количество сгенерированных токенов, которые были отменены до завершения генерации. Используется для оценки эффективности механизмов отмены длительных LLM-операций.

Где встречается

• 88. Как бы вы добавили отмену (cancellation) для длительных LLM операций

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление