Modal 分享如何为万亿参数编码智能体服务万亿 token 的推理优化实践
Modal 官方博客分享了针对 Moonshot AI Kimi K2.6 等万亿参数模型的推理服务优化方案，实现了单副本性能提升 2.8x（每用户）和 5.6x（跨用户）。
推荐理由：原文详细拆解了万亿参数模型在编码智能体场景下的推理优化路径，提供了从单副本调优到多副本路由的完整工程实践参考。
内容形态
教程实践 最新动态
拿来就能用的实操内容：提示词技巧、工作流搭建、工具用法与踩坑经验。
81 条精选近 30 天 49 条共收录 241 条
更新
精选归档 · 第 3 页
Modal 官方工程博客精选AI 评分6565 OpenRouter Announcements精选AI 评分7373 如何在 TypeScript 中使用 Jev API 进行内容审核
OpenRouter 发布教程指导开发者使用 TypeSafe 的 Jev 决策模型（typesafe/jev-1.13）在 TypeScript 中实现结构化内容审核。
推荐理由：通过 TypeScript 代码完整演示了 Jev API 在内容审核中的集成流程，提供了从状态构建到阈值调优的可复用工程范式。
Together AI Blog精选AI 评分6262 Together AI 教程：如何以 $17 成本训练自己的 Jev 分类模型
Together AI 发布教程指导用户以约 $17 的成本和 25 分钟时间，基于 Qwen3.5 4B 微调一个类似 Jev 的分类模型。该过程涉及从 Hugging Face 采样 38,000 条多源数据、使用 Together Fine-tuning service 训练以及部署到 dedicated endpoint。
推荐理由：原文提供了基于 Qwen3.5 4B 微调分类模型的完整代码流程与成本细节，读者可据此复现低成本构建专用分类器的方法。
Anthropic Claude.dev 开发者博客精选AI 评分8282 Claude Opus 5.5 在 Claude 应用与 Claude Code 中的使用指南
Anthropic 发布 Claude Opus 5.5 的使用指南，指导用户如何在该模型下优化提示词、控制长程运行并检查结果。Opus 5.5 具备更长的自主工作能力和默认思考机制，因此建议移除“仔细思考”等指令，明确任务完成标准，并在 CLAUDE.md 中设定何时停止询问或继续执行。
推荐理由：原文针对 Opus 5.5 的长程自主运行和默认思考特性，给出了从提示词调整到子智能体协作的具体操作建议。
OpenRouter Announcements精选AI 评分7878 NVIDIA 发布 Nemotron 3.5 Lightning：面向高频智能体执行的 30B MoE 模型
NVIDIA 发布 Nemotron 3.5 Lightning，这是一款总参数 30B、激活参数约 3B 的混合 Mamba-2 和 MoE 架构模型，专为智能体工作流中高频、低延迟的执行步骤设计。
推荐理由：原文详细对比了 Nemotron 3.5 Lightning 与 Ultra 在智能体工作流中的分工，并提供了基于 OpenRouter 的路由策略及本地部署参数。
DeepLearning.AI精选AI 评分6262 Meta Muse agent 采用 OS 级安全机制防御提示注入
Meta 的 Muse agent 通过操作系统层面的安全措施来防御提示注入攻击，而非仅依赖模型自身的训练数据。该智能体假设模型可能被欺骗，因此确保模型从不处理真实凭证，并将工具运行在隔离的 Linux 容器中。
推荐理由：原文介绍了 Meta Muse agent 在操作系统层面构建安全机制的方法，展示了不依赖模型自身训练来防御提示注入攻击的工程思路。
OpenRouter Announcements精选AI 评分6868 OpenRouter 解析 Jev 与 LLM-as-a-Judge 的评估差异及选型指南
OpenRouter 发布技术解析，对比 TypeSafe 的决策模型 Jev 与传统 LLM-as-a-Judge 在 Agent 输出评估中的表现。测试显示，在证据完备的封闭标准下，Jev 与 LLM 判断器准确率相当，但具备更好的概率校准性，且成本仅为后者的 1/5，延迟为 1/10；而在需要长文本推理的开放标准（如摘要一致性）中，LLM 判断器与专家评分的相关性更高。
推荐理由：原文通过实测对比了 Jev 与 LLM-as-a-Judge 在准确率、校准度及成本上的差异，并给出了不同评估场景下的选型建议。
OpenRouter Announcements精选AI 评分7070 OpenRouter 详解 TypeSafe Jev 决策模型：原理、API 调用与开发指南
OpenRouter 发布技术指南，详细解析 TypeSafe 推出的非生成式决策模型 Jev（当前版本 typesafe/jev-1.13）的工作原理与使用方法。
推荐理由：原文通过真实 API 调用演示了 Jev 模型的三种决策原语及概率解读方法，为开发者提供了替代传统 LLM 加正则解析工作流的具体实现路径。
OpenRouter Announcements精选AI 评分8080 OpenRouter 教程：何时使用 Jev 决策模型替代 LLM 进行文本生成
OpenRouter 发布教程，指导开发者在分类、路由和验证等已知答案的任务中使用 TypeSafe 的 Jev 决策模型，而在需要生成文本时使用 LLM。基准测试显示，在处理支持工单时，Jev 的成本约为每千张 $0.0248，中位延迟 194ms，远低于 GPT Luna 和 Claude Opus。
推荐理由：原文通过基准测试对比了决策模型与生成式大语言模型在分类任务中的成本与延迟差异，并提供了结合两者构建低成本工单处理流水线的具体代码实现。
OpenRouter Announcements精选AI 评分6565 OpenRouter 实测 20 款图像生成模型的成本、编辑能力与质量对比
OpenRouter 对平台路由的 20 款图像生成模型进行了统一实测，记录了各模型在相同提示词下的实际计费、返回格式及参数限制。测试显示 openai/gpt-image-2 以 $0.006-$0.0135 成为最低成本选项，而 sourceful/riverflow-v2.5-pro 在 Design Arena 榜单中评分最高。
推荐理由：通过统一测试20个模型的实际计费与能力差异，提供了跨厂商图像生成的选型依据和成本对比方法。
GitHub Blog · AI & ML精选AI 评分8484 GitHub Copilot 运行时迁移至 Rust 的实践复盘
GitHub 使用 Copilot CLI 和 App 中的 AI Agent，将 Copilot agent runtime 从 TypeScript 重写为超过 80 万行生产级 Rust 代码。
推荐理由：文章详细复盘了利用 AI Agent 将 Copilot 运行时从 TypeScript 迁移至 Rust 的全过程，提供了大规模代码重构的增量策略、多会话并发协作模式及性能优化数据。
LangChain Blog精选AI 评分7878 LangChain 详解 Paid Media Agent 构建过程与工程经验
LangChain 发布博客文章，详细解析了其内部 Paid Media Agent 的设计原理、技术挑战及优化策略。该智能体基于 LangChain Deep Agents 构建，通过 Slack 运行，整合广告平台数据与销售管道信息，实现自动化报告生成与实验提案。
推荐理由：LangChain 公开了 Paid Media Agent 的架构设计与工程细节，展示了如何通过分层上下文和代码隔离解决多平台数据对齐难题。
vLLM 官方博客精选AI 评分6565 vLLM 团队详解如何在 GB300 NVL72 上训练 Kimi-K3 最快的 DSpark 推测解码模型
vLLM 团队利用 Speculators 库在 GB300 NVL72 集群上成功训练了 Kimi-K3 的 DSpark 推测解码模型，将单流数学推理速度从约 110 tok/s 提升至约 435 tok/s。
推荐理由：原文详细拆解了基于GB300集群训练Kimi K3 DSpark草稿模型的全流程，提供了从数据提取到多节点部署的完整技术路径。
OpenRouter Announcements精选AI 评分6565 OpenRouter 发布 LLM-as-a-Judge 自动评估 AI Agent 输出指南
OpenRouter 发布教程介绍如何使用 LLM-as-a-Judge 方法自动评估 AI Agent 的输出质量。该指南详细说明了如何结合确定性测试与语义评分，并提供了基于 Ori Eval 工具的具体实施步骤、代码示例及最佳实践。
推荐理由：原文提供了使用 Ori Eval 实现 LLM-as-a-judge 的完整代码与配置，读者可据此快速搭建自动化评估流程。
OpenRouter Announcements精选AI 评分7878 OpenRouter 发布 Fusion 复合模型功能：通过多模型辩论提升复杂任务质量
OpenRouter 推出名为 Fusion 的复合模型功能，允许单个提示词触发多个专家模型的并行回答与裁判对比，以生成更高质量的最终答案。默认三模型面板的成本约为单次调用的四到五倍，延迟增加两到三倍，适用于高价值研究或决策场景而非实时交互。
推荐理由：官方详解多模型辩论机制与成本权衡，提供 API 调用示例及适用场景边界，帮助开发者评估是否引入该复合推理能力。
Together AI Blog精选AI 评分6868 Together AI 解析开源 AI 技术栈的五大核心组件
Together AI 发布指南详解开发者转向开源模型所需的五层技术栈：模型、推理、网关、Harness 和工具。文章对比了 Kimi K3 等大模型与 GLM 5.3 Flash 等小模型的适用场景，并介绍了通过 OpenRouter 或 LiteLLM 实现灵活路由的方法。
推荐理由：原文拆解了从模型到工具的五层架构，为开发者提供了将闭源工作流迁移至开源栈的具体选型思路。
LangChain Blog精选AI 评分6565 LangChain 介绍 deepagents 中多智能体框架的上下文组织方法
LangChain 在 deepagents 框架中引入了子智能体的上下文模式，支持“isolated”（隔离）和“fork”（分叉）两种配置以优化多智能体协作。
推荐理由：原文详细拆解了 forked 与 isolated 两种子智能体上下文模式的适用场景，为多智能体架构中的上下文管理提供了具体实现参考。
vLLM 官方博客精选AI 评分6363 vLLM 发布 GLM 5.3 优化方案：Hybrid HiSparse 混合稀疏卸载技术
vLLM 推出针对 GLM 5.3 的 Hybrid HiSparse 优化方案，通过混合稀疏 KV 缓存卸载机制，使模型在单个 8× H200 节点上实现全量 100 万 token 上下文运行并显著提升并发能力。
推荐理由：vLLM 官方详解 Hybrid HiSparse 在 GLM 5.3 上的稀疏 KV 缓存卸载机制，提供单节点百万上下文高并发推理的实测数据与复现命令。
vLLM 官方博客精选AI 评分8080 vLLM 解析智能体服务的全栈优化与 AgentX 基准实测
vLLM 团队联合 Inferact 发布技术博客，针对智能体工作负载的多轮会话、长上下文和高前缀复用特性，阐述了涵盖 KV 缓存管理、并行策略及 P/D 分离的全栈优化方案。
推荐理由：原文详细拆解了智能体负载下的全栈优化策略，并提供了基于公开基准的实测数据与失败经验复盘。
Google Developers Blog精选AI 评分6262 Google 总结 AI Agents Challenge 优胜方案的四大工程模式
Google 在 Startups AI Agents Challenge 结束后，从高分提交中提炼出双向 MCP、事件驱动并发、同标准降级和分层路由四种核心工程模式。
推荐理由：原文从真实代码提交中提炼出双向 MCP、事件驱动并发等四种工程模式，为构建多智能体系统提供了可直接复用的架构参考。