新SambaNova Cloud基于SambaNova RDU的托管推理平台,通过OpenAI兼容API提供大型开放模型、Responses、Playground和企业连接能力。 00AI模型与开放平台# OpenAI兼容# RDU推理# Serverless推理
新vLLM开源高吞吐模型推理引擎,提供PagedAttention、连续批处理、OpenAI兼容Server、分布式推理、量化和多硬件支持。 00AI模型与开放平台# LLM服务# OpenAI兼容# PagedAttention
新llama.cpp用C/C++在CPU、GPU和Apple Silicon等硬件运行GGUF模型,支持量化、混合推理、CLI和OpenAI兼容服务器。 00AI模型与开放平台# GGUF# OpenAI兼容# 多平台
新DeepInfra通过OpenAI兼容和原生API提供文本、Embedding、图像、语音和视觉模型Serverless推理及Dedicated Endpoints的平台。 00AI模型与开放平台# OpenAI兼容# Serverless推理# 专属端点
新Baseten将托管模型API、自定义模型部署、Truss打包、推理Chains和训练基础设施整合在一起的AI模型服务平台。 10AI模型与开放平台# OpenAI兼容# Truss# 推理Chains
新Cerebras Inference利用Cerebras晶圆级系统提供高速开放模型推理、OpenAI兼容API、工具调用、结构化输出和Dedicated Endpoints。 20AI模型与开放平台# Cerebras# OpenAI兼容# 工具调用
新SambaCloud基于SambaNova RDU提供大规模开放模型高速推理、OpenAI兼容API、工具调用和企业本地SambaStack的AI平台。 10AI模型与开放平台# OpenAI兼容# RDU# SambaNova