InferenceService

Kubernetes原生模型Serving平台，通过InferenceService提供多框架部署、自动扩缩、OpenAI规范、Canary、InferenceGraph与监控。