OpenAI Triton Inference Server

Определение

Сервер инференса, позволяющий реализовать кастомные планировщики для continuous batching и оптимизации вывода моделей.

Где встречается

• 218. Как работает continuous batching в TGI (Hugging Face Text Generation Inference)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление