TensorRT Plugin API

Определение

API для добавления кастомных слоёв и операций в оптимизированный инференсный движок TensorRT, расширяющее его функциональность.

Где встречается

• 318. TensorRT-LLM vs vLLM — сравнение для production deployment.

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление