Together AI 发布面向开源权重模型的专用推理平台
Together AI 推出 Dedicated Model Inference 平台，旨在为开源及微调模型提供兼顾控制权与易用性的生产级推理服务。该平台内置经过验证的部署配置文件，支持从 Hugging Face 或 S3 导入模型，并通过优化的缓存层实现约 4 倍的快速启动。
推荐理由：Together AI 推出专用推理平台，通过预优化配置和金丝雀发布机制，降低开源模型生产环境部署门槛并提升迭代安全性。
#产品更新
Together AI Blog精选AI 评分6868 vLLM 官方博客AI 评分5050 vLLM 发布 AFD 插件：解耦 Attention 与 FFN 以灵活服务 MoE 模型
vLLM 推出实验性 AFD 插件，将 Mixture-of-Experts 模型的 Attention 和 FFN 分离为独立服务以实现弹性扩展。该插件支持 NVIDIA GPU 和 Ascend NPU，兼容 DeepSeek V2/V3 系列模型及 OpenAI 接口。目前项目处于实验阶段，需进一步进行大规模硬件测试。
Modal 官方工程博客精选AI 评分6060 Modal 与 Cognition 合作推出 Devin Outposts 支持在自定义沙箱中运行 AI 软件工程师
Cognition 推出 Devin Outposts，允许将 Devin 的执行环境迁移至用户可控的配置中，而推理仍保留在 Cognition 云端。Modal 作为首发合作伙伴提供 `modal-devin` 开源集成，使 Devin 会话能在 Modal Sandbox 中运行，利用其快速冷启动、GPU 按需分配及快照功能。
推荐理由：原文说明了 Devin Outposts 如何将执行环境移至用户控制的 Modal Sandbox，同时保留云端推理，并提供了开源集成工具的具体配置方法。
Sierra BlogAI 评分5252 Sierra 发布 Horizon 平台以支持智能体实现长周期目标
Sierra 推出 Horizon 平台，使 AI 智能体能够执行如贷款审批或医疗预约等需要数天至数月交互的长周期任务。该平台在 Agent OS 基础上增加了长期规划能力和灵活上下文引擎，让智能体能从每次客户互动中自动学习并优化决策。Horizon 将客户交互数据转化为持续扩展的商业护城河，并采用按业务成果而非 Token 消耗计费的模式。
Sierra Blog精选AI 评分7070 Sierra 发布内部云智能体平台 Pinecone
Sierra 发布内部云智能体平台 Pinecone，旨在通过云端会话捕获并规模化员工的隐性知识。该平台支持多用户协作、自动化 PR 监控及技能复用，底层集成 Codex 和 Claude Code 等主流模型。目前 Sierra 96% 的工程团队已接入，上月产生超 75,000 个会话，70% 的 Pull Request 由该工具发起。
推荐理由：原文详述了内部云智能体 Pinecone 的架构设计与落地数据，展示了如何通过共享上下文将员工经验转化为组织资产。
Together AI Blog精选AI 评分7575 Together AI 上线 Thinking Machines Lab 新模型 Inkling
Thinking Machines Lab 发布新多模态混合专家模型 Inkling，Together AI 宣布在 Day 0 将其接入推理平台。该模型支持文本、图像和音频输入，拥有 975B 总参数、40B 激活参数及 1M 上下文窗口，并引入查询条件相对注意力等架构创新。
推荐理由：原文详述了 Inkling 的混合专家架构与可控推理机制，并说明其在 Together AI 平台上的即时可用性与 API 特性。
Modal 官方工程博客精选AI 评分7070 Thinking Machines 发布多模态模型 Inkling 并上线 Modal
Thinking Machines 发布通用多模态模型 Inkling，支持文本、图像和音频输入及文本输出。Modal 提供 Day 0 支持，将其作为基于 Token 计价的托管端点上线。
推荐理由：原文披露了 Inkling 在 Modal 上的部署细节及 DFlash 投机解码优化，展示了针对混合专家架构的特定工程加速方案。
Together AI BlogAI 评分3434 Together GPU Clusters 增强生产级可靠性与运维控制
Together AI 为 Together GPU Clusters 推出被动健康检查、自动节点修复及 Slurm-on-K8s 2.0，以解决大规模训练中的硬件故障与调度漂移。新方案通过持续监控实时负载识别 GPU 掉线等异常，并提供人工审批的自动修复流程。升级后的 Slurm 栈实现了自愈守护进程、持久化作业记账及准确的 GPU 状态管理，显著提升了集群稳定性。
Sierra BlogAI 评分4242 Sierra Agent Studio 实验功能让 A/B 测试驱动 AI 智能体优化
Sierra Agent Studio 推出实验功能，支持团队通过 A/B 测试验证 AI 智能体变更对解决率和客户留存的影响。该工具提供统计显著性仪表盘并支持渐进式流量发布，确保胜出变体可安全推广至全量用户。配合 Ghostwriter 分析对话模式自动生成假设，大幅缩短从想法到上线测试的周期。
Jim FanAI 评分4040 ASPIRE：机器人自进化技能库
今天，我们为机器人提供了一个可自我进化并无限复利积累的技能库！介绍 ASPIRE：机器人在解决第 100 个任务时，不再像解决第一个任务那样毫无头绪。编码智能体观察来自仿真和真实机器人的多模态感官轨迹，启动一个
Modal 官方工程博客精选AI 评分6060 Modal 集成 Claude Science 提供可扩展计算能力
Modal 宣布与 Anthropic 新发布的 AI 科研工作台 Claude Science 集成，为生命科学研究者提供按需扩展的计算基础设施。当研究人员在对话中运行蛋白质结构预测或分子筛选等计算密集型任务时，工作负载会自动路由至 Modal 沙箱以获取 GPU 或高并发 CPU 资源，而无需手动配置环境。
推荐理由：原文展示了 Claude Science 如何自动路由计算密集型生物工作负载至 Modal，为科研人员提供无需配置基础设施的弹性算力支持。
Modal 官方工程博客精选AI 评分6262 Modal 推出 Servers 功能实现超低延迟 HTTP 服务
Modal 正式推出 Servers 功能，专为 HTTP、WebSocket 和 gRPC 流量设计，旨在满足 LLM 推理等对毫秒级延迟敏感的应用场景。该功能通过移除请求路径中的队列和控制平面查找，将 p50 延迟从 39ms 降低至 6ms。
推荐理由：原文详细拆解了将 p50 延迟从 39ms 降至 6ms 的架构取舍，为低延迟推理服务提供了具体的工程参考。
Modal 官方工程博客精选AI 评分6868 Modal 发布 Auto Endpoints：提供可完全掌控的生产级 LLM 推理服务
Modal 推出 Auto Endpoints，允许用户通过单条命令部署兼容 OpenAI API 的生产级 LLM 推理服务，实现从 GPU 选择到引擎调优的全链路代码可见性。
推荐理由：原文展示了从黑盒 API 到可观测代码的推理服务范式转变，读者可以据此评估自建推理栈的成本与性能平衡。
Modal 官方工程博客精选AI 评分6565 Modal 开源 Qwen 系列 DFlash 推测解码模型
Modal 在 Hugging Face 发布针对 Qwen 3.5 和 3.6 系列的多个 DFlash 推测解码（speculative decoding）草稿模型，包括 Qwen 3.6 35B-A3B-DFlash 等版本。
推荐理由：官方开源多款DFlash推测解码模型并给出实测加速数据，为自托管推理优化提供了可直接复用的方案。
Jim FanAI 评分6565 Jim Fan 推出 ENPIRE：首次实现物理世界中的 AutoResearch
Jim Fan 宣布推出 ENPIRE，首次在物理世界中启用 AutoResearch。该项目让 8 个 Codex agents 控制机器人集群、GPU 资源及充足 token 预算，目标是以最快速度解决任务并保持机器人忙碌。
Modal 官方工程博客AI 评分4040 Modal 产品更新：VM Sandboxes、区域路由、RBAC 及更多
Modal 推出 VM Sandboxes Alpha 版以支持真实 Linux 内核，并新增区域路由以降低延迟。同时上线 RBAC 权限控制、Named Images 镜像共享及 Sandbox 域名白名单功能。Python SDK 更新至 v1.5.0，JS/Go SDK 更新至 v0.8.0，Sandbox 快照默认 TTL 调整为 30 天。
Ai2 / Allen Institute for AIAI 评分4545 Ai2 发布 olmo-eval：面向 LLM 开发循环的评估工作台
Ai2 推出基于 OLMES 标准的 olmo-eval 评估工作台，专为 LLM 开发中的频繁迭代设计。该工具支持智能体与多轮评估，允许按需选择轻量直接运行或容器隔离环境，并提供逐题对比分析以区分真实改进与噪声。
Modal 官方工程博客AI 评分5050 Modal 开源 RL 后训练基础设施库，解决多节点权重同步瓶颈
Modal 发布开源库以解决 LLM 强化学习后训练的基础设施瓶颈。该方案通过 RDMA 技术将 Qwen3-8B 等模型的权重同步速度提升 100 倍，显著降低多节点集群成本。
Modal 官方工程博客AI 评分4545 Modal 向 Team 和 Enterprise 用户开放基于角色的访问控制（RBAC）
Modal 向 Team 和 Enterprise 计划用户开放基于角色的访问控制（RBAC），旨在为人类开发者和 AI Agent 提供精细化的权限管理。该功能以 Environments 为安全边界，支持 Restricted Environments 限制 Agent 仅能在指定环境内部署和管理资源，并集成审计日志记录操作行为。