English translation is not available yet. Showing Russian content.
compute budget
compute budget
Определение
Лимит вычислительных ресурсов, выделяемых на один запрос при инференсе, особенно в контексте test-time computing; позволяет контролировать затраты и время ответа.