新vLLM开源高吞吐模型推理引擎,提供PagedAttention、连续批处理、OpenAI兼容Server、分布式推理、量化和多硬件支持。 00AI模型与开放平台# LLM服务# OpenAI兼容# PagedAttention