LLM服务

由Ray创始团队构建的分布式AI平台，覆盖Workspaces、Jobs、Services、数据处理、训练、RAG、Agent和LLM Serving。

开源高吞吐模型推理引擎，提供PagedAttention、连续批处理、OpenAI兼容Server、分布式推理、量化和多硬件支持。

面向生产的高性能LLM与多模态Serving框架，提供RadixAttention、HiCache、分布式并行、量化和OpenAI兼容API。