Cancellation

Определение

Механизм прерывания длительной генерации ответа LLM по запросу пользователя или системы. Позволяет улучшить пользовательский опыт и сократить потребление вычислительных ресурсов.

Где встречается

• 88. Как бы вы добавили отмену (cancellation) для длительных LLM операций

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление