dynamic shapes
dynamic shapes
Определение
Поддержка переменных размеров входных данных (например, длины последовательностей) в компиляторах и рантаймах; критична для гибкости, но может вызывать перекомпиляции (например, при использовании torch.compile или CUDA Graph).
Где встречается
- 318. TensorRT-LLM vs vLLM — сравнение для production deployment.
- 324. Что такое TVM (Apache TVM) и зачем он нужен для AI инференса
- 325. Как вы сравниваете разные компиляторы (TensorRT, IREE, XLA) для вашей модели
- 473. Что такое torch.compile и как он ускоряет training
- 800+ вопросов