vLLM 官方博客· Ranran Haoran Zhang, Lik Xun Yuan, Chao Ju Chen, Eric Curtin, Michael Goin·· 27 天前精选AI 评分82
vLLM 发布 vllm-metal：支持 Apple Silicon 上的并发推理服务
Announcing vllm-metal: Concurrent Serving on Apple Silicon
AI 导读
vLLM 团队正式发布 vllm-metal，将 vLLM 的调度器、分页 KV 缓存和 OpenAI 兼容服务器引入 Apple Silicon，底层由 MLX 和 Metal 执行。
推荐理由
vLLM 官方发布适配 Apple Silicon 的推理引擎，通过 Metal 内核优化并发调度与内存管理，显著降低本地多请求场景下的首字延迟。
来源：vLLM 官方博客 · vllm.ai