推理服务器

NVIDIA开放推理软件体系，核心Triton Server支持多框架模型仓库、动态批处理、并发、Ensemble、HTTP/gRPC和多平台部署。