Qwen3.8-2.4T-A95B 作为开放权重模型正式发布，并已在 Modal 平台提供 Shared Endpoint 支持。相比 Qwen 3.7，该模型在编码、工作、研究和长程任务上均有显著提升。Modal 与 Qwen 团队合作实现了 Day Zero 支持，底层基于 SGLang 和针对 Qwen3.8 架构定制的 DFlash speculator，以加速推理过程。
推荐理由：原文说明了新模型在Modal平台的即时可用性，以及通过自定义DFlash推测解码优化推理速度的具体技术实现。
vLLM 宣布对 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持。该模型采用 30B 总参数、3B 激活参数的混合 MoE 架构，专为始终在线的智能体设计，支持最高 100 万 token 上下文窗口。
推荐理由：原文给出了混合 MoE 架构、投机解码配置及多硬件部署指南，读者可据此评估其在智能体工作流中的效率与落地可行性。
vLLM 推出 Decode Context Parallelism (DCP) 技术，通过沿序列维度分片 KV cache 解决 GQA/MLA 模型在张量并行下的显存复制瓶颈。实测显示，在 Kimi K2.6 模型上，DCP 使单 GPU 吞吐量从基线 TP 的 1,863 tok/s 提升至 6,091 tok/s，并支持高达 512 的并发请求。
vLLM 团队发布博客，展示如何通过解耦服务模式在 GB200 NVL72 系统上使 Qwen3.5-397B-A17B-NVFP4 模型达到超过 25,000 total TPS/GPU 的性能。
推荐理由：vLLM 团队公开了 Qwen3.5 在 GB200 NVL72 上实现 25K TPS/GPU 的解耦服务配置、关键优化补丁及复现配方，为高性能推理部署提供直接参考。
Modal 完成新地理分布式 I/O 平面的迁移，使端到端 Function Call 延迟在 p50 水平降低约 80ms。该架构通过重写 Go 语言服务器、异步处理非关键任务及优化 Redis/Valkey 存储引擎实现性能提升。用户可通过 routing_region 参数指定输入输出路由区域以进一步减少网络开销。
Sierra 发布 Agency，作为其智能体基础设施层，为 Pinecone 和 Ghostwriter 提供安全、可扩展的沙箱环境。该原生 Kubernetes 应用由无状态控制平面和有状态运行器组成，支持按需配置具备 8+ 核心与 24GiB 内存的计算资源。Agency 旨在解决第三方沙箱在资源限制与客户数据安全性上的不足，确保智能体能自主执行长时间运行的复杂任务。
Berkeley AI Research 团队扩展 K-Search 框架并引入 MLX 后端，通过结构化 CUDA-to-MLX 翻译层自动迁移内核优化知识。该方法在 Apple Silicon 上使 Attention 内核达到原生 MLX 的 0.97x 速度，并在 Mamba SSM 内核 prefill 阶段相比社区实现获得最高 20x 加速。
推荐理由：原文展示了通过结构化翻译层将 CUDA 优化知识迁移至 Apple Silicon 的方法，实现了接近专家级的内核性能。
Together AI 推出 ThunderAgent，一种用于高吞吐量智能体推理的系统，通过将每个智能体工作流抽象为可调度的程序来解决 KV cache 抖动问题。
推荐理由：ThunderAgent 通过程序级调度解决 KV cache 抖动，在合成数据生成中实现最高 2.5 倍吞吐提升且兼容现有引擎。
vLLM 联合 PyTorch、oneDNN 等社区优化 Arm Neoverse 服务器上的大语言模型推理，通过启用 mimalloc 分配器和 LSE 原子指令解决瓶颈。Llama 3.1 8B 离线吞吐量提升 2.3 倍，低并发场景下 TPOT 延迟降低 15%。
Ai2 发布 OlmoEarth Platform，支持将地球观测基础模型从微调扩展至大规模推理。该平台通过 CPU/GPU 分工与并行处理，可在约一天内完成大陆级区域推理，成本低至每平方公里几分钱。近期北美野火风险地图生成中，平台利用近两万个 CPU 和近千个 GPU 实现 155 倍加速。
vLLM 宣布为开源多模态 MoE 模型 Kimi K3 提供 Day-0 支持，涵盖架构适配、内核优化及部署配方。在 16 张 NVIDIA GB300 NVL72 GPU 上，启用 DSpark 推测解码后单用户吞吐可达 370 tok/s，较无推测解码提升 3.14 倍。该支持包括混合前缀缓存、预填充/解码分离及 AMD ROCm 兼容，相关 Docker 镜像和详细配置已开放获取。
推荐理由：vLLM 官方给出了 Kimi K3 的 Day-0 支持细节与性能数据，开发者可据此评估其在生产环境中的部署可行性。
Together AI 推出 Dedicated Model Inference 平台，旨在为开源及微调模型提供兼顾控制权与易用性的生产级推理服务。该平台内置经过验证的部署配置文件，支持从 Hugging Face 或 S3 导入模型，并通过优化的缓存层实现约 4 倍的快速启动。
推荐理由：Together AI 推出专用推理平台，通过预优化配置和金丝雀发布机制，降低开源模型生产环境部署门槛并提升迭代安全性。
vLLM 推出实验性 AFD 插件，将 Mixture-of-Experts 模型的 Attention 和 FFN 分离为独立服务以实现弹性扩展。该插件支持 NVIDIA GPU 和 Ascend NPU，兼容 DeepSeek V2/V3 系列模型及 OpenAI 接口。目前项目处于实验阶段，需进一步进行大规模硬件测试。
DaoCloud团队在vLLM官方博客发布文章，介绍了如何在24张NVIDIA B300 GPU上部署GLM-5.2-NVFP4模型以满足生产级SLA要求。通过采用分离式P/D架构、推测解码填充、Model Runner V2及IndexerCache等优化手段，将平均TPOT从约40ms降至17ms，同时保持TTFT低于2.5秒。
推荐理由：文章详细记录了在24张B300 GPU上部署GLM-5.2的全过程，提供了从TPOT优化到最终SLA达标的具体配置和命令。
Sierra 基于 Model Context Protocol (MCP) 构建统一 Gateway，连接 Slack、GitHub 等内部系统以支持 AI Agent。团队通过“Grab the lock”机制减少协调瓶颈，利用 `mcp-gateway.md` 文档约束 Coding Agents 行为，并采用最小化数据暴露策略防止跨客户敏感信息泄露。
Cognition 推出 Devin Outposts，允许将 Devin 的执行环境迁移至用户可控的配置中，而推理仍保留在 Cognition 云端。Modal 作为首发合作伙伴提供 `modal-devin` 开源集成，使 Devin 会话能在 Modal Sandbox 中运行，利用其快速冷启动、GPU 按需分配及快照功能。
推荐理由：原文说明了 Devin Outposts 如何将执行环境移至用户控制的 Modal Sandbox，同时保留云端推理，并提供了开源集成工具的具体配置方法。
Modal 宣布重建其核心沙箱平台，新系统支持数百万并发沙箱运行，并能以每秒数万个的速度创建沙箱。该架构移除了控制平面中的中心瓶颈，采用无协调的分布式调度设计，使调度路径简化为负载均衡器直接在计算节点上创建容器。实测显示，100 万个沙箱可在不到一分钟内全部创建完成，中位启动时间低于半秒。目前该系统已开放 Beta 测试，用户可通过简单代码修改启用。
推荐理由：原文展示了去中心化调度架构如何实现百万级沙箱并发与秒级创建，为高吞吐 Agent 基础设施提供了可参考的工程范式。
Together AI 指出实现 99.9% 推理正常运行时间需跨双数据中心部署模型权重并持续运行实时流量，而非冷备。该架构依赖对硬件、网络及软件的端到端控制权以消除故障域盲区，确保在单设施失效时能无缝切换负载。
Together AI 为 Together GPU Clusters 推出被动健康检查、自动节点修复及 Slurm-on-K8s 2.0，以解决大规模训练中的硬件故障与调度漂移。新方案通过持续监控实时负载识别 GPU 掉线等异常，并提供人工审批的自动修复流程。升级后的 Slurm 栈实现了自愈守护进程、持久化作业记账及准确的 GPU 状态管理，显著提升了集群稳定性。
Modal 官方将其定位为“一台计算机”，通过分层存储、内存映射 I/O 及网络接口处理信息，而非简单的云服务商。其架构包含容器运行时、Input/Output Plane 和 Routing Plane，支持 Python 函数、Linux 进程及 HTTP 服务等多种程序形态。该设计利用对象存储与共享驱动实现多租户效率与单租户安全性的平衡。
Modal 推出交互式成本估算工具，对比 B200 GPU 的 Serverless 与三年预留定价。当负载峰值均值比超过预留折扣率时，Serverless 更具成本优势；推理等典型场景比值达 5:1 至 10:1，使其比预留更便宜。
Modal Research 与 NYU Shanghai HeavyBall Research 联合推出 Multi-token Residual Prediction (MRP) 模块，将多 token 预测引入扩散语言模型。
Together AI 在 ICML 2026 发布九篇论文，覆盖从智能体到 GPU 内核的全栈优化。ThunderAgent 实现最高 3.6× 智能体推理加速，TTT-Discover 用开源 gpt-oss-120b 模型以约 $500 成本超越人类最佳发现。Aurora 自适应推测解码与 Untied Ulysses 支持单节点 5M-token 上下文，共同提升平台效率。
Modal 正式推出 Servers 功能，专为 HTTP、WebSocket 和 gRPC 流量设计，旨在满足 LLM 推理等对毫秒级延迟敏感的应用场景。该功能通过移除请求路径中的队列和控制平面查找，将 p50 延迟从 39ms 降低至 6ms。
推荐理由：原文详细拆解了将 p50 延迟从 39ms 降至 6ms 的架构取舍，为低延迟推理服务提供了具体的工程参考。
Modal 发布 Auto Endpoints，通过结合 Blackwell GPU、SGLang 引擎与推测解码优化，实现低延迟推理。在 Decagon Voice 案例中，该方案将 p50 延迟从约 290ms 降低 100ms，优于专有服务商表现。
ParallelKernelBench (PKB) 基准测试显示，GPT-5.5、Claude Opus 4.7 等前沿模型在多 GPU CUDA 内核生成上表现不佳。零样本下最佳模型仅正确解决 87 个问题中的 28 个，且只有 22 个优于 PyTorch + NCCL 基线；采样三次后快速通过率仍不足 31%。
Modal 推出 Auto Endpoints，允许用户通过单条命令部署兼容 OpenAI API 的生产级 LLM 推理服务，实现从 GPU 选择到引擎调优的全链路代码可见性。
推荐理由：原文展示了从黑盒 API 到可观测代码的推理服务范式转变，读者可以据此评估自建推理栈的成本与性能平衡。
Modal 指出沙箱启动中容器调度仅占极小部分，应用初始化才是主要延迟来源。其正式推出 Readiness Probes 以精准标记沙箱就绪状态，并建议结合 Sandbox pools 与 Directory Snapshots 预置环境，从而消除用户感知的启动等待时间。
Modal 推出 VM Sandboxes Alpha 版以支持真实 Linux 内核，并新增区域路由以降低延迟。同时上线 RBAC 权限控制、Named Images 镜像共享及 Sandbox 域名白名单功能。Python SDK 更新至 v1.5.0，JS/Go SDK 更新至 v0.8.0，Sandbox 快照默认 TTL 调整为 30 天。
Modal 通过调整并行策略和支持不规则内存访问，优化了 FlashAttention-4 内核以适配大语言模型推理。新增 FP8 输入支持使吞吐量较 bf16 基线提升最高 1.16x，并显著减小 KV cache 体积。这些改进针对 decode-heavy 工作负载，利用 CuTe DSL 实现了更高效的低精度计算与长上下文处理。
Together AI 宣布作为 MiniMax M3 的首选云合作伙伴，通过深度性能优化支持该模型在生产环境中高效运行，并将在未来几天开放权重后直接提供端点服务。
推荐理由：Together AI 详细披露了 MiniMax M3 在稀疏注意力、KV 缓存管理及多模态预处理上的底层工程优化，展示了实现百万 token 上下文高效服务的具体技术路径。
Modal 发布开源库以解决 LLM 强化学习后训练的基础设施瓶颈。该方案通过 RDMA 技术将 Qwen3-8B 等模型的权重同步速度提升 100 倍，显著降低多节点集群成本。
Together AI 通过优化 NVIDIA Parakeet-TDT 0.6B v3 和 OpenAI Whisper Large v3，实现了极低的语音转文本延迟。其核心改进包括使用 TensorRT 多配置文件加速编码器、利用条件 CUDA graph 将解码器分支移至 GPU 实现 2-3 倍提速，以及消除 CPU 冗余数据拷贝。
Modal 向 Team 和 Enterprise 计划用户开放基于角色的访问控制（RBAC），旨在为人类开发者和 AI Agent 提供精细化的权限管理。该功能以 Environments 为安全边界，支持 Restricted Environments 限制 Agent 仅能在指定环境内部署和管理资源，并集成审计日志记录操作行为。
Together AI 发布了针对编码智能体的大规模推理基准测试 v1，重点评估高并发和长上下文下的系统表现。该测试使用 Kimi K2.5 模型，显示 Together Inference Engine 在 2.5M TPM 负载下 p50 TTFT 为 0.71s，优于 TensorRT-LLM 的 1.1s 和 SGLang 的 5.1s。
大约一年前我构建 menugen 时，发现最难的部分远非代码本身，而是为了使其落地必须像组装宜家家具一样拼凑的各种服务，即 DevOps：服务、支付、认证、数据库、安全、域名等……我真的