English translation is not available yet. Showing Russian content.
Ray Serve
Ray Serve
Определение
Фреймворк для развертывания моделей на базе Ray с поддержкой масштабирования online и batch инференса.
Где встречается
- 318. TensorRT-LLM vs vLLM — сравнение для production deployment.
- 455. Как вы выбираете между online и batch инференсом для LLM