模型服务

开源GPU控制平面，统一管理多云、Kubernetes和本地资源上的Dev Environments、Tasks、Services、Fleets和Volumes。

开源模型服务框架与推理平台，可部署任意模型和Python逻辑，并提供GPU弹性、CI/CD、观察、Bento Cloud、BYOC和Kubernetes。

可扩展Python模型服务库，支持框架无关部署、模型组合、自动扩缩容、LLM Serving、FastAPI、gRPC和Kubernetes。

将托管模型API、自定义模型部署、Truss打包、推理Chains和训练基础设施整合在一起的AI模型服务平台。