技术方向
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
57 条精选近 30 天 30 条共收录 185 条
LangSmith 在 Interrupt NYC 大会上发布了多项新功能，包括用于自动检测问题并测试修复方案的 Engine v2，以及支持用户级记忆和内置网络搜索的 Managed Deep Agents v0.8。
推荐理由：原文详细列出了 LangSmith Engine v2、Managed Deep Agents v0.8 及微调工具等具体功能变化，为开发者提供了评估现有 Agent 工作流升级路径的直接依据。
LangChain 发布指南介绍如何利用 TypeSafe AI 的 Jev 决策模型与 LangGraph 框架构建“prod, not god”的生产级智能体系统。
推荐理由：原文结合 Jev 决策模型与 LangGraph 编排框架，展示了构建低成本、高可靠性生产级智能体的具体架构模式。
vLLM 正式支持基于 Gumbel-max 算法的无失真文本水印功能，允许用户在模型推理时嵌入可检测的来源信号而不改变输出分布。该实现深度集成于 Model Runner v2 采样管线，通过 GPU 内核融合技术将吞吐影响控制在 ±2% 以内，并采用双密钥机制解决与推测解码的冲突及重复上下文导致的多样性下降问题。
推荐理由：vLLM 原生集成 Gumbel-max 水印算法，在保持零输出失真和极低延迟开销的同时，解决了与推测解码的兼容性及生成多样性问题。
Modal 推出名为 Quail 的推理引擎，专门用于加速 AI-SQL 工作负载，在单张 H100 GPU 上实现超过 10 亿 tokens/min 的处理速度，比 vLLM 基线快 10 倍以上。
推荐理由：原文展示了针对 AI-SQL 负载的专用推理引擎 Quail，通过联合优化查询计划与推理过程实现显著性能提升。
Google团队使用MaxText框架在Google Cloud TPUs上成功复现了Ai2开发的Olmo 3 7B模型的Stage-1预训练和Stage-2中训练。
推荐理由：文章详细记录了在TPU上复现大模型预训练的过程，揭示了仅看训练损失可能掩盖数据加载器Bug的风险，并提供了跨框架验证的具体方法。
Anthropic 团队通过两周冲刺，利用 Claude Tag（beta）内部研究模型优化核心用户旅程，使 claude.ai 和桌面应用响应速度提升约 3 倍。该过程涉及建立确定性基准、自动化代码审查及持续监控，最终合并超过三千个变更且无客户可见事故。
推荐理由：原文详述了利用 Claude Agent 在两周内实现性能提升三倍的具体工程闭环，展示了从基准测试到自动化部署的完整实践路径。
Modal 官方博客分享了针对 Moonshot AI Kimi K2.6 等万亿参数模型的推理服务优化方案，实现了单副本性能提升 2.8x（每用户）和 5.6x（跨用户）。
推荐理由：原文详细拆解了万亿参数模型在编码智能体场景下的推理优化路径，提供了从单副本调优到多副本路由的完整工程实践参考。
Together AI 发布教程指导用户以约 $17 的成本和 25 分钟时间，基于 Qwen3.5 4B 微调一个类似 Jev 的分类模型。该过程涉及从 Hugging Face 采样 38,000 条多源数据、使用 Together Fine-tuning service 训练以及部署到 dedicated endpoint。
推荐理由：原文提供了基于 Qwen3.5 4B 微调分类模型的完整代码流程与成本细节，读者可据此复现低成本构建专用分类器的方法。
Together AI 发布 Canary Rollouts 功能，允许在生产环境中通过分阶段流量迁移无缝升级模型，无需停机或手动干预。该功能支持 Canary、Blue-green 和 Rolling 三种策略，内置健康检查和延迟回归门控，确保新模型在满足性能标准后才逐步接管全部流量。
推荐理由：Together AI 推出生产环境模型金丝雀发布功能，通过自动化流量切换和指标门控实现零停机升级。
vLLM 团队正式发布 vllm-metal，将 vLLM 的调度器、分页 KV 缓存和 OpenAI 兼容服务器引入 Apple Silicon，底层由 MLX 和 Metal 执行。
推荐理由：vLLM 官方发布适配 Apple Silicon 的推理引擎，通过 Metal 内核优化并发调度与内存管理，显著降低本地多请求场景下的首字延迟。
Google 宣布与 Speakeasy 合作，将其 OpenAPI 代码生成套件在 AGPLv3 许可下开源，以解决专有 SDK 生成工具停服带来的平台风险。
推荐理由：原文披露了因专有工具停服引发的迁移背景，并详细列出了新开源生成器支持的语言、CLI及MCP服务器能力。
LangChain 发布博客文章，详细解析了其内部 Paid Media Agent 的设计原理、技术挑战及优化策略。该智能体基于 LangChain Deep Agents 构建，通过 Slack 运行，整合广告平台数据与销售管道信息，实现自动化报告生成与实验提案。
推荐理由：LangChain 公开了 Paid Media Agent 的架构设计与工程细节，展示了如何通过分层上下文和代码隔离解决多平台数据对齐难题。
vLLM 团队利用 Speculators 库在 GB300 NVL72 集群上成功训练了 Kimi-K3 的 DSpark 推测解码模型，将单流数学推理速度从约 110 tok/s 提升至约 435 tok/s。
推荐理由：原文详细拆解了基于GB300集群训练Kimi K3 DSpark草稿模型的全流程，提供了从数据提取到多节点部署的完整技术路径。
vLLM 发布分层 KV 缓存卸载框架，允许将驱逐的 KV 数据保留在主机内存、存储或远程节点中，避免重新计算从而降低延迟并提升集群有效服务容量。该设计以主机内存为核心枢纽，支持文件系统、对象存储及 P2P 网络作为二级存储，实现了跨节点的缓存共享与混合模型（如 Mamba）的透明支持。基准测试显示，在高并发对话场景下，相比无卸载方案，启用存储卸载可使吞吐量翻倍以上。
推荐理由：vLLM 通过分层 KV 缓存卸载机制，将 GPU 显存压力转移至主机内存和存储层，显著提升了长上下文场景下的集群服务容量与响应速度。
vLLM 推出针对 GLM 5.3 的 Hybrid HiSparse 优化方案，通过混合稀疏 KV 缓存卸载机制，使模型在单个 8× H200 节点上实现全量 100 万 token 上下文运行并显著提升并发能力。
推荐理由：vLLM 官方详解 Hybrid HiSparse 在 GLM 5.3 上的稀疏 KV 缓存卸载机制，提供单节点百万上下文高并发推理的实测数据与复现命令。
vLLM 团队联合 Inferact 发布技术博客，针对智能体工作负载的多轮会话、长上下文和高前缀复用特性，阐述了涵盖 KV 缓存管理、并行策略及 P/D 分离的全栈优化方案。
推荐理由：原文详细拆解了智能体负载下的全栈优化策略，并提供了基于公开基准的实测数据与失败经验复盘。
SemiAnalysis在InferenceX Preview中发布了Google TPUv7 Ironwood的首批第三方推理结果，显示其在FP8聚合服务模式下相比NVIDIA B200/B300拥有最高50%的性能每美元优势。
推荐理由：第三方实测显示TPUv7在FP8聚合服务下性能每美元比B200高50%，并解析了TorchTPU栈的优化细节。
vLLM-Omni 团队发布 MiniMax H3 的生产级服务方案，通过系统级优化和集成 FastVideo 的 FastH3 模型，在 8x NVIDIA B300 上实现了完整 MP4 生成速度快于播放时长（RTF <= 1.0）。
推荐理由：vLLM-Omni 通过系统级优化与 FastH3 集成，实现了 MiniMax H3 在 B300 硬件上快于播放时长的实时视频生成能力。
LangChain 正式发布 LangGraph v0.1 稳定版并推出处于封闭测试阶段的 LangGraph Cloud。LangGraph v0.1 通过低层级 API 支持条件分支、循环及人机协作，旨在提升智能体工作流的精确控制力与可靠性。
推荐理由：LangGraph v0.1 与 LangGraph Cloud 的发布提供了从精细控制到规模化部署的完整链路，有助于解决智能体在复杂工作流中的可靠性与运维难题。
LangSmith LLM Gateway 现已进入公开测试版，作为位于智能体与模型之间的中央治理层，提供运行时控制能力。该工具支持设置多级支出上限和速率限制以防止成本超支，并具备模型故障转移及敏感数据（PII）检测与脱敏功能。
推荐理由：原文详述了网关在成本控制、故障转移及数据脱敏上的具体机制，为生产环境智能体治理提供了可落地的参考方案。