English translation is not available yet. Showing Russian content.
sequence slots
sequence slots
Определение
Механизм в TensorRT-LLM для параллельной обработки множества запросов путём выделения фиксированных слотов под последовательности. Позволяет эффективно батчить запросы разной длины.