OpenRouter 指南:如何从生产流量构建黄金评估数据集
OpenRouter 发布指南介绍如何从生产流量构建黄金评估数据集(Golden Eval Dataset),以解决通用基准无法反映特定业务表现的问题。该数据集由经过人工审核的生产输入和预期输出组成,需版本化并集成到 CI 中作为回归测试。
推荐理由:提供了从生产流量构建黄金评估数据集的五步流程及跨模型对比方法,帮助开发者基于真实业务数据而非通用基准进行模型选型与回归测试。
OpenRouter 发布指南介绍如何从生产流量构建黄金评估数据集(Golden Eval Dataset),以解决通用基准无法反映特定业务表现的问题。该数据集由经过人工审核的生产输入和预期输出组成,需版本化并集成到 CI 中作为回归测试。
推荐理由:提供了从生产流量构建黄金评估数据集的五步流程及跨模型对比方法,帮助开发者基于真实业务数据而非通用基准进行模型选型与回归测试。
Google 通过优化稀疏注意力内核,在 TPU v6e 芯片上显著提升了视频扩散模型的推理速度。该方案利用空间与时间头的几何结构特性,仅保留约 38.87% 的查询-键交互对,从而降低计算延迟。这一实现将理论上的稀疏性转化为端到端的实际加速效果。
我们如何看待保障前沿强化学习(RL)训练运行的安全性:
OpenRouter 发布图像转视频模型对比指南,详细比较了 Veo 3.1、Seedance、Kling v3.0 和 Grok Imagine Video 的时长、分辨率、音频生成及价格。文章说明了如何通过 `frame_images` 和 `input_references` 字段区分首尾帧控制与参考素材输入,并提供了使用 TypeScript SDK 提交异步视频生成任务的完整代码示例。
vLLM 官方博客发布《Taking vLLM Apart》指南,详解如何通过分离 Prefill 和 Decode 阶段以及将 CPU 工作移至前端来优化 LLM 推理服务。
推荐理由:原文结合实测数据与代码示例,拆解了 vLLM 分离式推理的适用场景、性能权衡及具体配置方法。
SemiAnalysis 指出稀疏注意力虽降低了 SDPA 操作的带宽需求,但 top-k 选择仍需完整上下文驻留 HBM,并未消除整体内存容量瓶颈。文章介绍了 SGLang 的 HiSparse 分层内存系统,通过将 KV cache 卸载至 DRAM 并结合层级重叠技术来提升高并发吞吐量。
Anthropic 在 claude-api 技能中新增 /claude-api build-eval 和 /claude-api hillclimb 命令,用于在代码库中构建评估集并迭代优化应用性能。
推荐理由:原文提供了在 Claude Code 中自动化构建评估集与执行爬山优化的具体命令及防过拟合机制,读者可据此改进智能体应用的性能或成本。
LangChain 发布指南介绍如何利用 TypeSafe AI 的 Jev 决策模型与 LangGraph 框架构建“prod, not god”的生产级智能体系统。
推荐理由:原文结合 Jev 决策模型与 LangGraph 编排框架,展示了构建低成本、高可靠性生产级智能体的具体架构模式。
GitHub Copilot 应用通过 `/create-canvas` 技能生成双向共享的 canvas 界面,用户无需编码即可用自然语言描述创建看板或清单。Agent 与用户可实时同步操作状态,支持按钮、卡片等控件交互及即时更新。生成的 canvas 作为扩展保存,可通过 Awesome Copilot 社区复用或团队共享。
Anthropic 发布指南解析 Claude Opus 5.5 的任务成本构成,指出轮次、缓存读取、输出 token 类型和模型选择是决定费用的四大因素。Opus 5.5 API 列表价较前代降低,输入和输出 token 便宜 20%,缓存读取便宜 60%;在 Pro、Max 或 Team 订阅计划中,更低的价格会转化为约多 25% 的可用额度。
推荐理由:原文拆解了影响任务成本的四个变量,并提供了在 Claude Code 中实测与优化会话的具体操作路径。
Anthropic 开发者 Thariq Shihipar 深入解析了 Claude Code 中的 effort 机制,指出其本质是控制模型在验证、边缘情况测试及自主判断上投入的计算量。
推荐理由:作者通过实测和基准分析,给出了不同任务场景下选择 effort 等级的具体策略与案例。
GitHub Copilot 官方博客文章认为聊天框往往不是与 AI 协作的最佳 UI,建议改用可定制的画布(canvas)来构建专用工具。文中举例说明通过画布创建本地应用或自动化开发流程,能避免将 Agent 当作通用工具造成的 token 浪费,让用户更专注于具体任务而非反复对话。
推荐理由:作者指出聊天界面常是低效交互,提出用可定制画布替代纯对话以节省 token 并优化工作流。
GitHub Security Lab 发布 Fuzzing Taskflow,这是一个基于 GitHub Security Lab Taskflow Agent 框架构建的自主模糊测试流水线,专为 C/C++ 项目设计。
推荐理由:GitHub Security Lab 开源了基于 LLM Agent 的自动化模糊测试流水线,详细拆解了从 Harness 生成、覆盖率反馈循环到崩溃分诊的全流程设计。
Google团队使用MaxText框架在Google Cloud TPUs上成功复现了Ai2开发的Olmo 3 7B模型的Stage-1预训练和Stage-2中训练。
推荐理由:文章详细记录了在TPU上复现大模型预训练的过程,揭示了仅看训练损失可能掩盖数据加载器Bug的风险,并提供了跨框架验证的具体方法。
GitHub Copilot 应用重构了 Pull Request 视图,以支持包含 2,200 个文件和超百万行变更的巨型 PR。通过分离确定性代码几何与动态评论块几何,并采用惰性测量机制,解决了因 Markdown 和异步资源导致的高度不可预测问题。该架构在保持滚动流畅的同时,有效避免了传统虚拟化方案中的布局跳动。
构建一个能在设备本地存储和搜索所见、所听及被告知内容的助手。在《使用端侧记忆构建 AI 助手》课程中,你将搭建一个能回忆文本、语音和图像的本地记忆系统,并教会它识别新事物
Anthropic 团队通过两周冲刺,利用 Claude Tag(beta)内部研究模型优化核心用户旅程,使 claude.ai 和桌面应用响应速度提升约 3 倍。该过程涉及建立确定性基准、自动化代码审查及持续监控,最终合并超过三千个变更且无客户可见事故。
推荐理由:原文详述了利用 Claude Agent 在两周内实现性能提升三倍的具体工程闭环,展示了从基准测试到自动化部署的完整实践路径。
Modal 官方博客分享了针对 Moonshot AI Kimi K2.6 等万亿参数模型的推理服务优化方案,实现了单副本性能提升 2.8x(每用户)和 5.6x(跨用户)。
推荐理由:原文详细拆解了万亿参数模型在编码智能体场景下的推理优化路径,提供了从单副本调优到多副本路由的完整工程实践参考。
OpenRouter 发布教程指导开发者使用 TypeSafe 的 Jev 决策模型(typesafe/jev-1.13)在 TypeScript 中实现结构化内容审核。
推荐理由:通过 TypeScript 代码完整演示了 Jev API 在内容审核中的集成流程,提供了从状态构建到阈值调优的可复用工程范式。
OpenRouter 发布 2026 年嵌入模型选型指南,推荐 openai/text-embedding-3-small 用于英文 RAG,qwen/qwen3-embedding-8b 支持多语言检索。
Together AI 发布教程指导用户以约 $17 的成本和 25 分钟时间,基于 Qwen3.5 4B 微调一个类似 Jev 的分类模型。该过程涉及从 Hugging Face 采样 38,000 条多源数据、使用 Together Fine-tuning service 训练以及部署到 dedicated endpoint。
推荐理由:原文提供了基于 Qwen3.5 4B 微调分类模型的完整代码流程与成本细节,读者可据此复现低成本构建专用分类器的方法。
Included Health 和 Abridge 利用 LangSmith 将临床专家审查转化为可复用的评估资产,以解决医疗 AI 验证瓶颈。Included Health 通过 LangGraph 构建 Dot 智能体处理复杂咨询,Abridge 则建立校准评判器确保病历生成的准确性与合规性。该方案旨在保留人类判断价值并加速安全发布。
Anthropic 发布 Claude Opus 5.5 的使用指南,指导用户如何在该模型下优化提示词、控制长程运行并检查结果。Opus 5.5 具备更长的自主工作能力和默认思考机制,因此建议移除“仔细思考”等指令,明确任务完成标准,并在 CLAUDE.md 中设定何时停止询问或继续执行。
推荐理由:原文针对 Opus 5.5 的长程自主运行和默认思考特性,给出了从提示词调整到子智能体协作的具体操作建议。
NVIDIA 发布 Nemotron 3.5 Lightning,这是一款总参数 30B、激活参数约 3B 的混合 Mamba-2 和 MoE 架构模型,专为智能体工作流中高频、低延迟的执行步骤设计。
推荐理由:原文详细对比了 Nemotron 3.5 Lightning 与 Ultra 在智能体工作流中的分工,并提供了基于 OpenRouter 的路由策略及本地部署参数。
Mixture of Experts (MoE) 架构改变了前沿模型的推理服务结构与经济性,需区分 Prefill、Midfill、Decode attention 和 Decode experts 四种工作模式。这些模式在算术强度、内存移动及网络带宽需求上存在显著差异,影响 vLLM、NVIDIA Dynamo 等编排层与推理服务器的调度策略。
Meta 的 Muse agent 通过操作系统层面的安全措施来防御提示注入攻击,而非仅依赖模型自身的训练数据。该智能体假设模型可能被欺骗,因此确保模型从不处理真实凭证,并将工具运行在隔离的 Linux 容器中。
推荐理由:原文介绍了 Meta Muse agent 在操作系统层面构建安全机制的方法,展示了不依赖模型自身训练来防御提示注入攻击的工程思路。
OpenRouter 发布技术解析,对比 TypeSafe 的决策模型 Jev 与传统 LLM-as-a-Judge 在 Agent 输出评估中的表现。测试显示,在证据完备的封闭标准下,Jev 与 LLM 判断器准确率相当,但具备更好的概率校准性,且成本仅为后者的 1/5,延迟为 1/10;而在需要长文本推理的开放标准(如摘要一致性)中,LLM 判断器与专家评分的相关性更高。
推荐理由:原文通过实测对比了 Jev 与 LLM-as-a-Judge 在准确率、校准度及成本上的差异,并给出了不同评估场景下的选型建议。
OpenRouter 发布技术指南,详细解析 TypeSafe 推出的非生成式决策模型 Jev(当前版本 typesafe/jev-1.13)的工作原理与使用方法。
推荐理由:原文通过真实 API 调用演示了 Jev 模型的三种决策原语及概率解读方法,为开发者提供了替代传统 LLM 加正则解析工作流的具体实现路径。
Descript 通过 OpenRouter 消除工程排队瓶颈,将新模型评估耗时从一周压缩至一两小时。团队利用 Claude Tag 在 Slack 中自动运行评测并创建 PR,实现每周多次高频测试。目前 Grok 4.5 已通过该路径在生产环境上线,且支持 Baseten 专用部署与多提供商故障回退。
vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 模型进行 PD Serving 优化,在 8K/1K 负载下实现每 GPU 5000 总 token 吞吐量及低延迟场景下每用户 180 生成 token。
OpenRouter 发布教程,指导开发者在分类、路由和验证等已知答案的任务中使用 TypeSafe 的 Jev 决策模型,而在需要生成文本时使用 LLM。基准测试显示,在处理支持工单时,Jev 的成本约为每千张 $0.0248,中位延迟 194ms,远低于 GPT Luna 和 Claude Opus。
推荐理由:原文通过基准测试对比了决策模型与生成式大语言模型在分类任务中的成本与延迟差异,并提供了结合两者构建低成本工单处理流水线的具体代码实现。
OpenRouter 对平台路由的 20 款图像生成模型进行了统一实测,记录了各模型在相同提示词下的实际计费、返回格式及参数限制。测试显示 openai/gpt-image-2 以 $0.006-$0.0135 成为最低成本选项,而 sourceful/riverflow-v2.5-pro 在 Design Arena 榜单中评分最高。
推荐理由:通过统一测试20个模型的实际计费与能力差异,提供了跨厂商图像生成的选型依据和成本对比方法。
某全球金融科技企业通过 Together AI 的 Dedicated Model Inference 服务,成功扩展基于 GLM-5.2 模型的编码智能体流量。
Included Health 基于 LangGraph 和 Deep Agents 构建了 Dot 超级图,实现多团队独立开发下的统一语音语调与上下文共享。该架构通过 Deep Agent 技能注册表动态加载临床能力,支持跨子工作流的无缝路由及第三方福利集成。
GitHub 使用 Copilot CLI 和 App 中的 AI Agent,将 Copilot agent runtime 从 TypeScript 重写为超过 80 万行生产级 Rust 代码。
推荐理由:文章详细复盘了利用 AI Agent 将 Copilot 运行时从 TypeScript 迁移至 Rust 的全过程,提供了大规模代码重构的增量策略、多会话并发协作模式及性能优化数据。
OpenRouter 发布教程,指导开发者使用 TypeScript SDK 构建可靠的工具调用智能体循环。该指南详细说明了如何定义工具、执行调用并返回结果,同时通过迭代上限和重复检测防止无限循环。文中还介绍了模型有序回退、Auto Exacto 提供商重排序以及集成 MCP 工具的方法,并对比了自建循环与使用 Agent SDK 的场景。
Madrigal Pharmaceuticals、Abridge 和 Vizient 展示了医疗 AI Agent 在证据综合、临床文档生成及数据查询中的落地实践。76% 的受访组织将可观测性、评估和成本控制视为赋予 Agent 更高自主权的前提,49% 正构建企业级中央 Agent 平台以整合碎片化应用。
Together AI 提出利用托管服务将闭源模型迁移至开源模型的策略,可将周期缩短至数周或数月。该流程涵盖发现、评估与实施阶段,建议通过重放现有流量进行自定义基准测试,以验证准确率与性能是否满足成本及延迟目标。
OpenRouter 指南指出 DeepSeek V4 并非单一模型,仅 V4.1 Flash 和 V4 Flash Vision Exp 支持原生图像输入,其余版本均为纯文本模型。针对不支持图像的 V4 Pro 等版本,文章演示了通过前置 Qwen3.8 或 Kimi K3 等视觉模型生成文本描述再传入 V4 的替代方案,并提供了相应的 TypeScript SDK 调用示例。
纯属娱乐,我训练了一个果蝇的大脑来写 Python。两周前,Google Research 和 HHMI Janelia 发布了 MaleCNS,这是一张成年雄性果蝇大脑和神经索中所有 166,700 个神经元和 2560 万个连接的地图。我将那张接线图变成了一个