mixed batch

Определение

Mixed batch — техника совмещения этапов prefill и decoding в одном батче для повышения эффективности инференса (например, в TGI).

Где встречается

• 201. Что такое continuous batching и как оно отличается от static batching Как это реализовано в vLLMTGI

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление