Kubernetes

将语言、视觉、语音、检索、生物和生成式媒体模型封装为优化容器与标准API的NVIDIA推理微服务体系。

开源多云AI计算编排框架，在云、Kubernetes和Slurm之间自动选择GPU，并提供Spot恢复、Jobs、Services和Clusters。

面向AI的GPU基础设施与托管平台，提供虚拟机、Kubernetes、Slurm、存储网络、Serverless推理、Fine-tuning和Command Center。

可扩展Python模型服务库，支持框架无关部署、模型组合、自动扩缩容、LLM Serving、FastAPI、gRPC和Kubernetes。