Prime Intellect面向Agent强化学习的研究与GPU平台,整合Hosted Training、Environments、Evaluations、Sandboxes、Inference和多节点Compute。 00AI模型与开放平台# Agent沙箱# Agent环境# GPU算力
dstack开源GPU控制平面,统一管理多云、Kubernetes和本地资源上的Dev Environments、Tasks、Services、Fleets和Volumes。 10AI模型与开放平台# GPU控制平面# 多云# 开发环境
SkyPilot开源多云AI计算编排框架,在云、Kubernetes和Slurm之间自动选择GPU,并提供Spot恢复、Jobs、Services和Clusters。 00AI模型与开放平台# GPU编排# Kubernetes# Spot实例
Akash Network开放去中心化云市场,通过Provider竞价提供CPU、GPU、存储和网络,并使用Console与SDL部署容器化AI工作负载。 00AI模型与开放平台# Akash Console# GPU市场# 去中心化云
Inference.net Catalyst从Agent Tracing和LLM Gateway出发,连接Halo分析、Datasets、Evals、微调和专属GPU部署的AI改进平台。 20AI模型与开放平台# Agent追踪# LLM网关# 专属推理
Northflank支持在托管云或自有云运行GPU Services、Jobs和Sandboxes,并整合容器构建、CI/CD、数据库、日志与自动扩缩的PaaS。 10AI模型与开放平台# BYOC# CI/CD# GPU PaaS
Novita AI统一提供多模态模型API、OpenAI兼容LLM、GPU实例、Serverless GPU、Bare Metal和隔离Agent Sandbox的AI云。 00AI模型与开放平台# Agent沙箱# GPU实例# Serverless GPU
GMI Cloud整合多模态模型API、Dedicated Endpoints、GPU集群、裸金属、GMI Studio视觉工作流和Agent能力的AI云。 30AI模型与开放平台# Agent市场# GPU集群# 专属端点
Vast.ai连接社区和数据中心提供者的GPU云市场,可筛选硬件与价格,并通过模板、CLI、SDK、Volumes和Serverless运行AI工作负载。 00AI模型与开放平台# GPU市场# GPU租赁# Secure Cloud
Crusoe Cloud面向AI的GPU基础设施与托管平台,提供虚拟机、Kubernetes、Slurm、存储网络、Serverless推理、Fine-tuning和Command Center。 00AI模型与开放平台# GPU基础设施# Kubernetes# Slurm
Nebius AI Cloud面向AI的云平台,提供GPU VMs和集群、InfiniBand、托管Kubernetes、Slurm/Soperator、Serverless AI及存储网络。 00AI模型与开放平台# GPU云# InfiniBand# Serverless AI
Beam Cloud开源Serverless AI云,用Python运行GPU Functions、Web Endpoints、Task Queues、Pods、Sandboxes和Scale-to-zero工作负载。 20AI模型与开放平台# Agent沙箱# GPU函数# Serverless GPU
Hyperbolic面向开发者的按需AI云,整合开放模型Serverless Inference、GPU Marketplace和训练及生产专属集群。 00AI模型与开放平台# AI云服务# GPU市场# Serverless推理
SambaNova Cloud基于SambaNova RDU的托管推理平台,通过OpenAI兼容API提供大型开放模型、Responses、Playground和企业连接能力。 10AI模型与开放平台# OpenAI兼容# RDU推理# Serverless推理
Anyscale由Ray创始团队构建的分布式AI平台,覆盖Workspaces、Jobs、Services、数据处理、训练、RAG、Agent和LLM Serving。 20AI模型与开放平台# LLM服务# Ray平台# 分布式AI
NVIDIA Dynamo-TritonNVIDIA开放推理软件体系,核心Triton Server支持多框架模型仓库、动态批处理、并发、Ensemble、HTTP/gRPC和多平台部署。 00AI模型与开放平台# NVIDIA AI# 动态批处理# 多框架
KServeKubernetes原生模型Serving平台,通过InferenceService提供多框架部署、自动扩缩、OpenAI规范、Canary、InferenceGraph与监控。 00AI模型与开放平台# InferenceService# Kubernetes模型服务# 模型监控
vLLM开源高吞吐模型推理引擎,提供PagedAttention、连续批处理、OpenAI兼容Server、分布式推理、量化和多硬件支持。 00AI模型与开放平台# LLM服务# OpenAI兼容# PagedAttention
SGLang面向生产的高性能LLM与多模态Serving框架,提供RadixAttention、HiCache、分布式并行、量化和OpenAI兼容API。 00AI模型与开放平台# LLM服务# RadixAttention# 分布式推理
BentoML开源模型服务框架与推理平台,可部署任意模型和Python逻辑,并提供GPU弹性、CI/CD、观察、Bento Cloud、BYOC和Kubernetes。 00AI模型与开放平台# BYOC# GPU扩缩容# 开放模型
Ray Serve可扩展Python模型服务库,支持框架无关部署、模型组合、自动扩缩容、LLM Serving、FastAPI、gRPC和Kubernetes。 00AI模型与开放平台# Kubernetes# 分布式推理# 模型服务
llama.cpp用C/C++在CPU、GPU和Apple Silicon等硬件运行GGUF模型,支持量化、混合推理、CLI和OpenAI兼容服务器。 20AI模型与开放平台# GGUF# OpenAI兼容# 多平台
Vectorize连接非结构化数据、评测Embedding与Chunking、持续同步到现有向量数据库,并提供Query Rewrite与Rerank的RAG Pipeline平台。 10AI模型与开放平台# RAG管道# RAG评测# 实时同步
Ragie托管RAG基础设施,提供文档与多模态摄取、数据连接器、持续同步、Partitions、Retrieval API、Ragie Connect和MCP。 00AI模型与开放平台# MCP服务器# 多模态RAG# 托管RAG
Voyage AI面向RAG和检索的专业Embedding与Reranking模型,覆盖通用文字、代码、行业资料及图片和文档截图等多模态输入。 10AI模型与开放平台# Embedding模型# RAG模型# 代码检索
Zilliz CloudMilvus官方完全托管服务,提供Serverless与专用集群、Hybrid Search、集成Embedding、迁移、备份和私有网络。 00AI模型与开放平台# Serverless向量库# 向量数据库# 托管Milvus