技术方向
跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
15 条精选近 30 天 15 条共收录 78 条
Google 推出 LiteRT Tensor API，允许开发者使用 C++ 逐算子构建计算图，并在 CPU、GPU 和 NPU 上直接运行而无需重写代码。该 API 支持从 Hugging Face .safetensors 文件直接加载权重，并通过共享加速器缓冲区实现预处理、推理和后处理的零拷贝流水线。
推荐理由：原文展示了通过原生 C++ 编写计算图实现跨平台零拷贝推理的方法，为开发者提供了在端侧部署复杂模型时兼顾底层控制与硬件兼容性的新路径。
NVIDIA 宣布 RTX Spark 笔记本电脑正式发售，该系列搭载 NVIDIA Blackwell RTX GPU 和 Grace CPU，提供最高 128GB 统一内存及 1 petaflop AI 算力，起售价为 $2,399。
推荐理由：原文展示了 RTX Spark 笔记本的硬件规格、起售价及全球首发活动，为关注本地 AI 算力便携化的读者提供了具体的产品参数和市场落地信息。
Artificial Analysis 发布了针对 AI 模型的评测分析内容。该报告基于独立测试数据，展示了相关模型的性能表现与对比结果。
推荐理由：第三方机构对模型性能进行独立实测，提供了可参考的量化数据与对比视角。
Meta 发布 Muse Spark Open AI 模型，并宣布该模型是同类中首个可在配备最新 MLX 框架的两台 Apple M5 Ultra Mac Studios 上运行的模型。Meta CEO Mark Zuckerberg 和 Apple CEO John Ternus 公开表示双方在此次发布中进行了合作，共同支持该模型在桌面端的高效运行。
推荐理由：原文记录了 Meta 与 Apple 罕见合作，使 Muse Spark Open 模型能在 Mac Studio 上高效运行，展示了端侧大模型部署的新进展。
NVIDIA 发布 Nemotron 3.5 Super VL、Bolt 74B-A9B 24GB 和 Bolt E4B 4GB 三款开源模型，覆盖从企业服务器到边缘设备的智能体部署需求。
推荐理由：原文给出了从数据中心到桌面的全栈开源模型矩阵及具体性能指标，读者可据此评估其在不同算力层级下的智能体部署可行性。
Google DeepMind 与新加坡 GovTech 合作发布基于 Gemma 的端侧诈骗检测模型，旨在不侵犯隐私前提下识别社会工程攻击。该模型针对新加坡本地诈骗话术微调，采用两阶段流水线在智能手机上运行以平衡效率与准确性，并在新加坡国际网络周（SICW 2026）展示。训练过程严格隔离于主权沙箱中，仅使用匿名数据，支持即时警告用户暂停可疑交易。
推荐理由：展示了如何在保护隐私的前提下，通过端侧部署微调模型解决本地化诈骗检测难题，为加密通讯平台提供了可复用的技术路径。
Liquid AI 发布开源权重模型 LFM2.5-24B-A2B，这是一款拥有 24B 总参数但仅 2B 激活参数的推理模型，旨在支持设备端快速、私有的智能体运行。
推荐理由：原文展示了2B激活参数在端侧推理的速度优势及与更大模型的基准对比，为构建本地智能体提供了具体性能参考。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市，并同步推出针对本地 AI Agent、创意开发和游戏场景的软件更新与性能优化。
推荐理由：原文详述了 RTX Spark 笔记本的本地 AI 生态准备情况，包括 Nemotron 模型、安全沙箱及主流应用优化，为评估其作为个人 AI 超级计算机的实际可用性提供了具体依据。
Google AI Edge 团队发布并开源了高性能跨平台 GPU 计算引擎 ML Drift，采用 Apache 2.0 许可证。该引擎作为 LiteRT 的核心加速组件，通过张量虚拟化和统一着色器支持 OpenGL ES、OpenCL、Metal 和 WebGPU，解决了边缘设备硬件多样性带来的兼容性与性能瓶颈。
推荐理由：原文给出了跨平台 GPU 引擎的架构升级与实测数据，读者可以据此判断其对端侧 AI 部署效率的具体提升。
NVIDIA 与微软在旧金山活动上宣布共同开发面向 Windows PC 的 AI 智能体硬件与软件。RTX Spark 搭载 Blackwell GPU 和 Grace CPU，提供最高 128GB 统一内存和 1 petaflop FP4 算力，支持本地运行 Qwen 3.8 Flash Next 等大模型，笔记本今日开启预订。
推荐理由：原文详细列出了 RTX Spark 和 DGX Station for Windows 的硬件规格及本地 AI 能力，为开发者评估端侧算力升级提供了具体参数依据。
Liquid AI 发布两款开源决策模型 d1-3B 和 d1-omni-600M，专为边缘设备设计。d1-3B 在 Decision Index 0.2.1 中得分 48.57，优于同尺寸及更大参数量的模型，支持文本和图像输入；d1-omni-600M 作为实验性版本，支持文本与图像或音频的多模态处理。
推荐理由：原文展示了小参数量决策模型在边缘设备上的低延迟表现及多模态支持，为资源受限场景下的结构化推理提供了可复用的开源方案。
Google DeepMind 发布开源权重多模态嵌入模型 EmbeddingGemma 2，原生支持将文本、图像、视频帧和音频映射到统一向量空间。该模型参数量为 740M，专为本地隐私优先应用设计，在 Google Pixel 11 Pro 上运行全模态模型仅需约 567MB 活跃内存。
推荐理由：原文给出了 EmbeddingGemma 2 的端侧部署参数与多模态检索能力，读者可以据此判断其在本地隐私应用中的实际性能表现。
NVIDIA DGX Spark 将于本月通过 Acer、ASUS、Dell 等合作伙伴推出 64GB 统一内存版本，起售价 $4,999。该配置保留 GB10 Grace Blackwell Superchip 和完整 NVIDIA AI 软件栈，支持在设备上运行高达 100-billion-parameter 的模型。
推荐理由：新增 64GB 配置降低了本地 AI 开发门槛，双机集群方案为个人开发者提供了无需复杂配置的算力扩展路径。
Antigravity SDK 宣布支持本地 AI 模型工作流，初始适配 Gemma 4 26B A4B 及 Google AI Edge LiteRT。该功能允许开发者完全离线构建具备智能体能力的辅助工具，通过本地 GPU 和 RAM 优化执行效率。SDK 同时提供对 Ollama、LM Studio 等 OpenAI 兼容服务器的即插即用支持，并展示了云端规划与本地执行相结合的混合编排模式。
推荐理由：官方展示了本地模型在离线代理工作流中的成本与隐私优势，并提供了混合编排的具体代码示例。
vLLM 团队正式发布 vllm-metal，将 vLLM 的调度器、分页 KV 缓存和 OpenAI 兼容服务器引入 Apple Silicon，底层由 MLX 和 Metal 执行。
推荐理由：vLLM 官方发布适配 Apple Silicon 的推理引擎，通过 Metal 内核优化并发调度与内存管理，显著降低本地多请求场景下的首字延迟。