sequence slots

Определение

Механизм в TensorRT-LLM для параллельной обработки множества запросов путём выделения фиксированных слотов под последовательности. Позволяет эффективно батчить запросы разной длины.

Где встречается

• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление