Fixed shapes

Определение

Оптимизация инференса, при которой длина последовательности и размер батча фиксированы, что позволяет эффективно использовать TensorRT-LLM и другие оптимизированные движки.

Где встречается

• 318. TensorRT-LLM vs vLLM — сравнение для production deployment.

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление