跳到正文

技术方向

端侧 AI 最新动态

直接跑在手机、电脑等设备上的 AI：小模型、在本机运行模型的工具与端侧芯片。

21 条精选近 30 天 19 条共收录 108 条

更新

精选归档 · 第 2 页

9月22日周二第 21–21 条
  1. vLLM 官方博客· AI 生成82

    vLLM 发布 vllm-metal：支持 Apple Silicon 上的并发推理服务

    vLLM 团队正式发布 vllm-metal，将 vLLM 的调度器、分页 KV 缓存和 OpenAI 兼容服务器引入 Apple Silicon，底层由 MLX 和 Metal 执行。

    AI 推荐理由：vLLM 官方发布适配 Apple Silicon 的推理引擎，通过 Metal 内核优化并发调度与内存管理，显著降低本地多请求场景下的首字延迟。