自动扩缩容

可扩展Python模型服务库，支持框架无关部署、模型组合、自动扩缩容、LLM Serving、FastAPI、gRPC和Kubernetes。

Kubernetes原生模型Serving平台，通过InferenceService提供多框架部署、自动扩缩、OpenAI规范、Canary、InferenceGraph与监控。