内容形态
AI 产品与应用的功能上新、改版与商业化动态——谁家的产品变强了、变贵了、能用了。
84 条精选近 30 天 58 条共收录 379 条
vLLM 发布分层 KV 缓存卸载框架，允许将驱逐的 KV 数据保留在主机内存、存储或远程节点中，避免重新计算从而降低延迟并提升集群有效服务容量。该设计以主机内存为核心枢纽，支持文件系统、对象存储及 P2P 网络作为二级存储，实现了跨节点的缓存共享与混合模型（如 Mamba）的透明支持。基准测试显示，在高并发对话场景下，相比无卸载方案，启用存储卸载可使吞吐量翻倍以上。
推荐理由：vLLM 通过分层 KV 缓存卸载机制，将 GPU 显存压力转移至主机内存和存储层，显著提升了长上下文场景下的集群服务容量与响应速度。
Google 正式宣布 Agent Development Kit (ADK) for Kotlin 1.0 通用可用性发布。该版本实现了与 ADK 1.0 Core 的功能完全对齐，并引入了针对 Android 和端侧场景的扩展，支持通过 LiteRT-LM、ML Kit 和 Firebase AI Logic 构建混合云工作流。
推荐理由：原文展示了 ADK for Kotlin 1.0 的发布，包含与核心版本的功能对齐及 Android 端侧扩展，为开发者提供了构建生产级 AI 智能体的具体路径。
Google DeepMind 推出 AlphaGenome Atlas，这是一个包含人类基因组中90亿个单核苷酸变异分子效应预测的平台。该平台提供1 PB数据集、AlphaGenome Variant Impact (AVI) 评分及DNA序列motif资源，支持通过网站门户和API免费用于学术研究。外部合作者已利用该工具在罕见病研究和复杂性状关联分析中发现新线索。
推荐理由：原文提供了覆盖全基因组的预测数据平台及免费入口，读者可据此评估其在罕见病与群体遗传学研究中的实际可用性。
LangChain 宣布重构其 Model Context Protocol (MCP) 支持，将其从独立适配器移入 `langchain.mcp` 主包，以匹配最新的无状态协议规范。
推荐理由：LangChain 将 MCP 支持整合进主包并适配无状态协议，开发者可借此简化智能体与工具的集成流程。
Anthropic 官方账号发布了一条关于新产品或功能更新的公告。该消息由 Anthropic 直接发出，标志着其在 AI 产品领域的最新动作。
推荐理由：Anthropic 官方宣布新产品或功能更新，读者可据此了解其最新能力边界及在智能体工作流中的潜在应用。
LangChain 正式发布 LangGraph v0.1 稳定版并推出处于封闭测试阶段的 LangGraph Cloud。LangGraph v0.1 通过低层级 API 支持条件分支、循环及人机协作，旨在提升智能体工作流的精确控制力与可靠性。
推荐理由：LangGraph v0.1 与 LangGraph Cloud 的发布提供了从精细控制到规模化部署的完整链路，有助于解决智能体在复杂工作流中的可靠性与运维难题。
LangSmith LLM Gateway 现已进入公开测试版，作为位于智能体与模型之间的中央治理层，提供运行时控制能力。该工具支持设置多级支出上限和速率限制以防止成本超支，并具备模型故障转移及敏感数据（PII）检测与脱敏功能。
推荐理由：原文详述了网关在成本控制、故障转移及数据脱敏上的具体机制，为生产环境智能体治理提供了可落地的参考方案。
Mistral AI 正式推出 Agentic Search，这是一种旨在让 AI 系统能够导航、阅读和验证复杂文档信息的多步检索层。该产品通过引入 search、open、navigate、read 和 grep 五个工具，解决了传统一次性 RAG 无法深入长文档或跨源验证的痛点。
推荐理由：Mistral 推出 Agentic Search，通过多步检索循环解决传统 RAG 在复杂文档中的局限，并在金融与政府文档基准测试中展示了显著的准确率提升和延迟降低。
vLLM-Omni 推出 Distributed Layerwise Offload (DLO) 技术，使超过单设备 HBM 容量的视频生成模型（如 Cosmos3-Super 124 GB）能在多 GPU/NPU 上高效运行。
推荐理由：原文提供了在 vLLM-Omni 中运行超大 DiT 模型的具体配置命令与内存优化机制，适合需要解决显存瓶颈的工程人员参考。
vLLM 团队宣布为 Qwen3.8-2.4T-A95B 提供 Day-0 支持，该模型基于 Qwen 3.5 架构，是首个开放权重的 Qwen-Max 级模型。
推荐理由：vLLM 官方提供了 Qwen3.8-2.4T-A95B 的 Day-0 支持细节，包括 FP4 量化权重、硬件优化内核及基准测试数据，有助于开发者评估大规模稀疏 MoE 模型的部署成本与性能。
Qwen3.8-2.4T-A95B 作为开放权重模型正式发布，并已在 Modal 平台提供 Shared Endpoint 支持。相比 Qwen 3.7，该模型在编码、工作、研究和长程任务上均有显著提升。Modal 与 Qwen 团队合作实现了 Day Zero 支持，底层基于 SGLang 和针对 Qwen3.8 架构定制的 DFlash speculator，以加速推理过程。
推荐理由：原文说明了新模型在Modal平台的即时可用性，以及通过自定义DFlash推测解码优化推理速度的具体技术实现。
vLLM 宣布对 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持。该模型采用 30B 总参数、3B 激活参数的混合 MoE 架构，专为始终在线的智能体设计，支持最高 100 万 token 上下文窗口。
推荐理由：原文给出了混合 MoE 架构、投机解码配置及多硬件部署指南，读者可据此评估其在智能体工作流中的效率与落地可行性。
vLLM 官方博客宣布与 Speculators 合作，正式提供对 P-EAGLE、DFlash 和 DSpark 三种最先进并行起草算法的完整开源支持。这些算法通过在单次验证器模型前向传播中并行生成整个候选 token 块，消除了传统自回归起草（如 EAGLE-3）中逐 token 生成的线性延迟瓶颈。
推荐理由：vLLM 与 Speculators 开源支持 P-EAGLE、DFlash 和 DSpark 并行起草算法，通过单次前向传播生成候选块以突破自回归限制并提升推理速度。
Moonshot 发布拥有 2.8T 参数、1M token 上下文窗口及原生视觉能力的开源多模态模型 Kimi K3，Modal 在发布当日即提供运行支持。通过定制 DFlash 投机解码器，该模型在 Modal 上实现了 460 tokens/s 的生成速度，较基准提升 360% 交互性且吞吐量提高 88%。
推荐理由：原文详述了针对Kimi K3架构定制的DFlash投机解码方案，展示了其在智能体工作负载下显著提升吞吐与响应速度的具体数据。
vLLM 宣布为开源多模态 MoE 模型 Kimi K3 提供 Day-0 支持，涵盖架构适配、内核优化及部署配方。在 16 张 NVIDIA GB300 NVL72 GPU 上，启用 DSpark 推测解码后单用户吞吐可达 370 tok/s，较无推测解码提升 3.14 倍。该支持包括混合前缀缓存、预填充/解码分离及 AMD ROCm 兼容，相关 Docker 镜像和详细配置已开放获取。
推荐理由：vLLM 官方给出了 Kimi K3 的 Day-0 支持细节与性能数据，开发者可据此评估其在生产环境中的部署可行性。
Together AI 推出 Dedicated Model Inference 平台，旨在为开源及微调模型提供兼顾控制权与易用性的生产级推理服务。该平台内置经过验证的部署配置文件，支持从 Hugging Face 或 S3 导入模型，并通过优化的缓存层实现约 4 倍的快速启动。
推荐理由：Together AI 推出专用推理平台，通过预优化配置和金丝雀发布机制，降低开源模型生产环境部署门槛并提升迭代安全性。
Cognition 推出 Devin Outposts，允许将 Devin 的执行环境迁移至用户可控的配置中，而推理仍保留在 Cognition 云端。Modal 作为首发合作伙伴提供 `modal-devin` 开源集成，使 Devin 会话能在 Modal Sandbox 中运行，利用其快速冷启动、GPU 按需分配及快照功能。
推荐理由：原文说明了 Devin Outposts 如何将执行环境移至用户控制的 Modal Sandbox，同时保留云端推理，并提供了开源集成工具的具体配置方法。
Sierra 发布内部云智能体平台 Pinecone，旨在通过云端会话捕获并规模化员工的隐性知识。该平台支持多用户协作、自动化 PR 监控及技能复用，底层集成 Codex 和 Claude Code 等主流模型。目前 Sierra 96% 的工程团队已接入，上月产生超 75,000 个会话，70% 的 Pull Request 由该工具发起。
推荐理由：原文详述了内部云智能体 Pinecone 的架构设计与落地数据，展示了如何通过共享上下文将员工经验转化为组织资产。
Thinking Machines Lab 发布新多模态混合专家模型 Inkling，Together AI 宣布在 Day 0 将其接入推理平台。该模型支持文本、图像和音频输入，拥有 975B 总参数、40B 激活参数及 1M 上下文窗口，并引入查询条件相对注意力等架构创新。
推荐理由：原文详述了 Inkling 的混合专家架构与可控推理机制，并说明其在 Together AI 平台上的即时可用性与 API 特性。
Thinking Machines 发布通用多模态模型 Inkling，支持文本、图像和音频输入及文本输出。Modal 提供 Day 0 支持，将其作为基于 Token 计价的托管端点上线。
推荐理由：原文披露了 Inkling 在 Modal 上的部署细节及 DFlash 投机解码优化，展示了针对混合专家架构的特定工程加速方案。