Ray Serve

Определение

Фреймворк для развертывания моделей на базе Ray с поддержкой масштабирования online и batch инференса.