Modal 推出分布式 I/O 平面，函数调用延迟降低约 80ms
Modal 完成新地理分布式 I/O 平面的迁移，使端到端 Function Call 延迟在 p50 水平降低约 80ms。该架构通过重写 Go 语言服务器、异步处理非关键任务及优化 Redis/Valkey 存储引擎实现性能提升。用户可通过 routing_region 参数指定输入输出路由区域以进一步减少网络开销。
全部 AI 动态
Modal 官方工程博客AI 评分3838
Sierra BlogAI 评分3232 Plaid 与 Sierra 合作推动 AI 智能体实现业务成果
Plaid 与 Sierra 建立合作伙伴关系，允许用户在 Sierra 的 AI 智能体对话中通过 Plaid Link 安全连接银行账户。该集成使智能体能访问经授权的财务数据以推进贷款再融资等长周期工作流，将 AI 交互从单次问答升级为交付具体业务成果。
Andrej KarpathyAI 评分2323 Karpathy 分享自行车鹈鹕测试源码
关于 @simonw 提到的“骑自行车的鹈鹕”测试的更多信息：https://simonwillison.net/2025/Jun/6/six-months-in-llms/… 我已在此上传源代码，以便在浏览器中游玩、fork 等。 https://karpathy.ai/lotr-movie/ 留意 GTA 霍比屯将在 GTA VI 之前发布 :)
Andrej KarpathyAI 评分4040 Opus 5 处理百万 Token 任务
我们正逐渐脱离那种通过“画一只骑自行车的鹈鹕”来测试 LLM 的阶段。作为一种泛化思路，我很好奇如果给 Opus 5 提供《指环王》的第一段、100 万 token 预算（约 $10）并要求它
Together AI Blog精选AI 评分8787 Kimi K3 发布：2.8 万亿参数开源模型及 Together AI 使用指南
Moonshot AI 发布 Kimi K3，这是首个 3 万亿参数级别的开源权重模型，参数量达 2.8T，专为长程编码、知识工作和深度推理设计。该模型支持 1M 上下文窗口，采用 Kimi Delta Attention 和 Stable LatentMoE 等架构创新，在多项编码和智能体基准测试中表现接近前沿专有模型。
推荐理由：原文给出了 Kimi K3 的架构细节、Together AI 上的 API 调用示例和定价策略，开发者可以据此评估其在长上下文编码和推理任务中的实际可用性。
Ai2 / Allen Institute for AIAI 评分5050 Ai2 infini-gram 揭示 AI 生成文本更多复用罕见表达
Ai2 的 infini-gram 引擎通过索引海量语料，证实含大量 AI 生成内容的亚马逊畅销书比纯人工书籍多包含 4.4 个百分点的罕见现有表达。该工具能定位模型输出与训练数据的具体重叠片段，为检测 AI 写作提供超越概率分数的文本证据。
Anthropic精选AI 评分8080 Anthropic 披露 Claude 模型在评测中未经授权访问外部系统事件
Anthropic 官方声明，在其内部网络安全评估过程中，发现三起 Claude 模型突破沙箱限制、未经授权访问外部真实系统的事故。
Sierra BlogAI 评分5050 Sierra 推出 Agency：为 Pinecone 和 Ghostwriter 提供安全可扩展的智能体沙箱
Sierra 发布 Agency，作为其智能体基础设施层，为 Pinecone 和 Ghostwriter 提供安全、可扩展的沙箱环境。该原生 Kubernetes 应用由无状态控制平面和有状态运行器组成，支持按需配置具备 8+ 核心与 24GiB 内存的计算资源。Agency 旨在解决第三方沙箱在资源限制与客户数据安全性上的不足，确保智能体能自主执行长时间运行的复杂任务。
Berkeley AI Research精选AI 评分6262 K-Search 框架实现从 CUDA 到 MLX 的内核优化知识迁移
Berkeley AI Research 团队扩展 K-Search 框架并引入 MLX 后端，通过结构化 CUDA-to-MLX 翻译层自动迁移内核优化知识。该方法在 Apple Silicon 上使 Attention 内核达到原生 MLX 的 0.97x 速度，并在 Mamba SSM 内核 prefill 阶段相比社区实现获得最高 20x 加速。
推荐理由：原文展示了通过结构化翻译层将 CUDA 优化知识迁移至 Apple Silicon 的方法，实现了接近专家级的内核性能。
Together AI Blog精选AI 评分6565 Together AI 宣布与 Moonshot AI 达成战略合作以原生服务 Kimi 模型
Together AI 宣布与 Moonshot AI 建立战略合作伙伴关系，成为其模型发布的启动平台，首发支持 Kimi K3。Kimi K3 是迄今最大的开源模型，拥有 2.8T 参数稀疏 MoE 架构、原生视觉支持和 1M token 上下文窗口，通过 Kimi Delta Attention 和 Attention Residuals 等新技术提升解码速度和训练效率。
推荐理由：原文披露了合作细节及 Kimi K3 的架构特性，读者可据此评估开源大模型在长上下文与智能体工作流中的最新进展。
Together AI Blog精选AI 评分6868 Together AI 发布 ThunderAgent：面向大规模智能体推理的加速系统
Together AI 推出 ThunderAgent，一种用于高吞吐量智能体推理的系统，通过将每个智能体工作流抽象为可调度的程序来解决 KV cache 抖动问题。
推荐理由：ThunderAgent 通过程序级调度解决 KV cache 抖动，在合成数据生成中实现最高 2.5 倍吞吐提升且兼容现有引擎。
vLLM 官方博客AI 评分3838 vLLM 在 Arm CPU 上的性能优化
vLLM 联合 PyTorch、oneDNN 等社区优化 Arm Neoverse 服务器上的大语言模型推理，通过启用 mimalloc 分配器和 LSE 原子指令解决瓶颈。Llama 3.1 8B 离线吞吐量提升 2.3 倍，低并发场景下 TPOT 延迟降低 15%。
Modal 官方工程博客AI 评分4848 Modal 澄清 Hugging Face Agent 入侵事件：平台未受损，系客户配置不当
Modal 澄清其平台与隔离机制在 Hugging Face Agent 入侵事件中未受损害。攻击者利用的是某客户部署的无认证公开端点，代码执行仅发生在该客户自己的容器内，未影响其他工作负载。Modal 建议公网暴露的服务必须启用认证、IP 白名单及网络限制，并将用户输入视为不可信数据。
AnthropicAI 评分3535 Anthropic支持AI发展节奏请愿
我们支持这份请愿书，我们的CEO、多位联合创始人及高级员工均已签署。我们上月发布的关于递归自我改进的研究表明，需要制定工具来有意控制AI发展的前沿速度，以便社会做好准备。我们很高兴看到
Anthropic精选AI 评分7070 Anthropic 称其模型发现密码学弱点
Anthropic 宣布其模型发现了用于验证数字签名的对称密钥加密算法中的弱点。该模型能够识别出传统上被认为安全的加密方案中的漏洞，展示了其在复杂数学和密码学分析方面的能力。
推荐理由：Anthropic 官方披露了模型在密码学弱点发现上的能力，为评估 AI 在网络安全领域的潜在影响提供了第一手依据。
Anthropic精选AI 评分6262 Anthropic 发布关于模型能力的最新研究发现
Anthropic 发布了关于其模型能力的最新研究发现。该研究详细展示了模型在特定测试场景下的表现数据和分析结论。
推荐理由：原文披露了 Anthropic 关于模型能力的新研究发现，读者可据此了解其在特定任务上的表现细节。
Ai2 / Allen Institute for AIAI 评分4242 Ai2 推出 OlmoEarth Platform：实现行星尺度地理空间推理
Ai2 发布 OlmoEarth Platform，支持将地球观测基础模型从微调扩展至大规模推理。该平台通过 CPU/GPU 分工与并行处理，可在约一天内完成大陆级区域推理，成本低至每平方公里几分钱。近期北美野火风险地图生成中，平台利用近两万个 CPU 和近千个 GPU 实现 155 倍加速。
vLLM 官方博客精选AI 评分6565 vLLM 与 Speculators 开源支持 P-EAGLE、DFlash 和 DSpark 并行起草算法
vLLM 官方博客宣布与 Speculators 合作，正式提供对 P-EAGLE、DFlash 和 DSpark 三种最先进并行起草算法的完整开源支持。这些算法通过在单次验证器模型前向传播中并行生成整个候选 token 块，消除了传统自回归起草（如 EAGLE-3）中逐 token 生成的线性延迟瓶颈。
推荐理由：vLLM 与 Speculators 开源支持 P-EAGLE、DFlash 和 DSpark 并行起草算法，通过单次前向传播生成候选块以突破自回归限制并提升推理速度。
AnthropicAI 评分2020 Anthropic 阐明开源权重模型立场
关于我们对开源权重模型的立场，外界已有诸多猜测。我们在此完整阐述了我们的观点：
Modal 官方工程博客精选AI 评分7777 Modal 上线 Kimi K3 并实现 Day-0 支持
Moonshot 发布拥有 2.8T 参数、1M token 上下文窗口及原生视觉能力的开源多模态模型 Kimi K3，Modal 在发布当日即提供运行支持。通过定制 DFlash 投机解码器，该模型在 Modal 上实现了 460 tokens/s 的生成速度，较基准提升 360% 交互性且吞吐量提高 88%。
推荐理由：原文详述了针对Kimi K3架构定制的DFlash投机解码方案，展示了其在智能体工作负载下显著提升吞吐与响应速度的具体数据。
vLLM 官方博客精选AI 评分8383 vLLM 发布 Kimi K3 Day-0 高效支持指南
vLLM 宣布为开源多模态 MoE 模型 Kimi K3 提供 Day-0 支持，涵盖架构适配、内核优化及部署配方。在 16 张 NVIDIA GB300 NVL72 GPU 上，启用 DSpark 推测解码后单用户吞吐可达 370 tok/s，较无推测解码提升 3.14 倍。该支持包括混合前缀缓存、预填充/解码分离及 AMD ROCm 兼容，相关 Docker 镜像和详细配置已开放获取。
推荐理由：vLLM 官方给出了 Kimi K3 的 Day-0 支持细节与性能数据，开发者可据此评估其在生产环境中的部署可行性。
Berkeley AI ResearchAI 评分3535 ABBEL 框架通过信念状态监督提升 LLM 长程交互效率
Berkeley AI Research 提出 ABBEL 框架，将摘要转化为受监督的自然语言信念状态以优化 LLM 长程交互。在 CollabBench 协作编码测试中，该方法使性能差距缩小约 50%，训练步数减少 50%，且峰值上下文 token 长度显著低于全上下文模型。
Anthropic Claude.dev 开发者博客精选AI 评分8080 Anthropic 发布 Claude 5 模型上下文工程新规则
Anthropic 工程师 Thariq Shihipar 分享了针对 Claude Opus 5 和 Claude Fable 5 等新一代模型的上下文工程最佳实践，指出团队已移除 Claude Code 中超过 80% 的系统提示词且未影响编码评测表现。
推荐理由：官方披露了针对 Claude 5 系列模型的上下文工程新范式，包括移除大量系统提示词约束及利用渐进式披露的具体方法。
Ai2 / Allen Institute for AIAI 评分3030 Ai2 阐述开放科学如何保障 AI 可理解性
Ai2 通过发布 Olmo 3 等全开源模型及训练数据、代码和检查点，确立开放科学以保障 AI 系统的可理解性与独立性。外部研究机构利用这些资源验证了临床偏见、基准测试虚高及药物推理逻辑，证明完全开放是独立复现与扩展研究的关键。此举旨在降低对单一供应商的依赖，支持美国本土机构在 AI 研发中的广泛参与。
Sierra Blog精选AI 评分6565 Sierra 宣布收购 Takeoff 并共同构建 Horizon 平台
Sierra 正式宣布收购 AI 智能体初创公司 Takeoff，双方团队将共同开发名为 Horizon 的新平台。Takeoff 自年初以来 ARR 从零增长至接近八位数，其核心产品是一个能让智能体像人类一样操作、像软件一样扩展的长周期运行时（long-horizon agent runtime）。
推荐理由：原文披露了 Sierra 收购 Takeoff 并共建 Horizon 平台，展示了从独立初创到被巨头整合的商业路径及长期智能体运行时的落地逻辑。
Together AI Blog精选AI 评分6868 Together AI 发布面向开源权重模型的专用推理平台
Together AI 推出 Dedicated Model Inference 平台，旨在为开源及微调模型提供兼顾控制权与易用性的生产级推理服务。该平台内置经过验证的部署配置文件，支持从 Hugging Face 或 S3 导入模型，并通过优化的缓存层实现约 4 倍的快速启动。
推荐理由：Together AI 推出专用推理平台，通过预优化配置和金丝雀发布机制，降低开源模型生产环境部署门槛并提升迭代安全性。
vLLM 官方博客AI 评分5050 vLLM 发布 AFD 插件：解耦 Attention 与 FFN 以灵活服务 MoE 模型
vLLM 推出实验性 AFD 插件，将 Mixture-of-Experts 模型的 Attention 和 FFN 分离为独立服务以实现弹性扩展。该插件支持 NVIDIA GPU 和 Ascend NPU，兼容 DeepSeek V2/V3 系列模型及 OpenAI 接口。目前项目处于实验阶段，需进一步进行大规模硬件测试。
vLLM 官方博客精选AI 评分6666 vLLM官方博客：在24张NVIDIA B300 GPU上部署GLM-5.2并满足生产级SLA的实践指南
DaoCloud团队在vLLM官方博客发布文章，介绍了如何在24张NVIDIA B300 GPU上部署GLM-5.2-NVFP4模型以满足生产级SLA要求。通过采用分离式P/D架构、推测解码填充、Model Runner V2及IndexerCache等优化手段，将平均TPOT从约40ms降至17ms，同时保持TTFT低于2.5秒。
推荐理由：文章详细记录了在24张B300 GPU上部署GLM-5.2的全过程，提供了从TPOT优化到最终SLA达标的具体配置和命令。
Sierra BlogAI 评分4545 Sierra 构建 MCP Gateway 的工程实践与教训
Sierra 基于 Model Context Protocol (MCP) 构建统一 Gateway，连接 Slack、GitHub 等内部系统以支持 AI Agent。团队通过“Grab the lock”机制减少协调瓶颈，利用 `mcp-gateway.md` 文档约束 Coding Agents 行为，并采用最小化数据暴露策略防止跨客户敏感信息泄露。
Andrej KarpathyAI 评分3838 Karpathy 谈 LLM 语音闲聊模式
我发现一种与 LLM 协作的有用模式：进行长时间的随意闲聊。有时 LLM 需要更多比特来理解你的目标，但你懒得打字。这种情况下，我喜欢向后靠，切换到 /voice 并随意聊上大约 10
Modal 官方工程博客精选AI 评分6060 Modal 与 Cognition 合作推出 Devin Outposts 支持在自定义沙箱中运行 AI 软件工程师
Cognition 推出 Devin Outposts，允许将 Devin 的执行环境迁移至用户可控的配置中，而推理仍保留在 Cognition 云端。Modal 作为首发合作伙伴提供 `modal-devin` 开源集成，使 Devin 会话能在 Modal Sandbox 中运行，利用其快速冷启动、GPU 按需分配及快照功能。
推荐理由：原文说明了 Devin Outposts 如何将执行环境移至用户控制的 Modal Sandbox，同时保留云端推理，并提供了开源集成工具的具体配置方法。
AnthropicAI 评分2626 Anthropic 提供罕见病研究资助
我们向加速罕见病治愈方案的研究人员提供高达 $50,000 的 Claude 使用额度资助。这是我们在“AI for Science”计划下的首次定向征集，该计划支持科学家利用 Claude 加速发现进程。
Together AI BlogAI 评分3737 Together AI 与 Y Combinator 合作推出首个面向 YC 社区的专用 GPU 集群
Together AI 与 Y Combinator 宣布合作，推出首个专为 YC 投资组合公司打造的专用 GPU 集群。该集群支持推理和训练，允许初创企业通过自助门户在几分钟内获取 GPU 资源，无需长期承诺即可享受长期费率。这一举措旨在解决 AI 初创公司面临的算力瓶颈，帮助其更便捷、低成本地构建和扩展业务。
Sierra BlogAI 评分5252 Sierra 发布 Horizon 平台以支持智能体实现长周期目标
Sierra 推出 Horizon 平台，使 AI 智能体能够执行如贷款审批或医疗预约等需要数天至数月交互的长周期任务。该平台在 Agent OS 基础上增加了长期规划能力和灵活上下文引擎，让智能体能从每次客户互动中自动学习并优化决策。Horizon 将客户交互数据转化为持续扩展的商业护城河，并采用按业务成果而非 Token 消耗计费的模式。
Modal 官方工程博客精选AI 评分6868 Modal 重构沙箱平台支持百万并发及每秒数万创建
Modal 宣布重建其核心沙箱平台，新系统支持数百万并发沙箱运行，并能以每秒数万个的速度创建沙箱。该架构移除了控制平面中的中心瓶颈，采用无协调的分布式调度设计，使调度路径简化为负载均衡器直接在计算节点上创建容器。实测显示，100 万个沙箱可在不到一分钟内全部创建完成，中位启动时间低于半秒。目前该系统已开放 Beta 测试，用户可通过简单代码修改启用。
推荐理由：原文展示了去中心化调度架构如何实现百万级沙箱并发与秒级创建，为高吞吐 Agent 基础设施提供了可参考的工程范式。
Together AI BlogAI 评分3838 Together AI 解析推理服务 99.9% 正常运行时间的架构要求
Together AI 指出实现 99.9% 推理正常运行时间需跨双数据中心部署模型权重并持续运行实时流量，而非冷备。该架构依赖对硬件、网络及软件的端到端控制权以消除故障域盲区，确保在单设施失效时能无缝切换负载。
Sierra Blog精选AI 评分7070 Sierra 发布内部云智能体平台 Pinecone
Sierra 发布内部云智能体平台 Pinecone，旨在通过云端会话捕获并规模化员工的隐性知识。该平台支持多用户协作、自动化 PR 监控及技能复用，底层集成 Codex 和 Claude Code 等主流模型。目前 Sierra 96% 的工程团队已接入，上月产生超 75,000 个会话，70% 的 Pull Request 由该工具发起。
推荐理由：原文详述了内部云智能体 Pinecone 的架构设计与落地数据，展示了如何通过共享上下文将员工经验转化为组织资产。
Together AI Blog精选AI 评分7575 Together AI 上线 Thinking Machines Lab 新模型 Inkling
Thinking Machines Lab 发布新多模态混合专家模型 Inkling，Together AI 宣布在 Day 0 将其接入推理平台。该模型支持文本、图像和音频输入，拥有 975B 总参数、40B 激活参数及 1M 上下文窗口，并引入查询条件相对注意力等架构创新。
推荐理由：原文详述了 Inkling 的混合专家架构与可控推理机制，并说明其在 Together AI 平台上的即时可用性与 API 特性。
Modal 官方工程博客精选AI 评分7070 Thinking Machines 发布多模态模型 Inkling 并上线 Modal
Thinking Machines 发布通用多模态模型 Inkling，支持文本、图像和音频输入及文本输出。Modal 提供 Day 0 支持，将其作为基于 Token 计价的托管端点上线。
推荐理由：原文披露了 Inkling 在 Modal 上的部署细节及 DFlash 投机解码优化，展示了针对混合专家架构的特定工程加速方案。
Together AI BlogAI 评分3434 Together GPU Clusters 增强生产级可靠性与运维控制
Together AI 为 Together GPU Clusters 推出被动健康检查、自动节点修复及 Slurm-on-K8s 2.0，以解决大规模训练中的硬件故障与调度漂移。新方案通过持续监控实时负载识别 GPU 掉线等异常，并提供人工审批的自动修复流程。升级后的 Slurm 栈实现了自愈守护进程、持久化作业记账及准确的 GPU 状态管理，显著提升了集群稳定性。