HYSET 工具集评分优于逐个挑选
逐个挑选最相关的工具会留下缺口。HYSET 将工具作为整体进行评分。Recall@5:88.6% vs. 81.4%;任务解决率:69.9% vs. 61.8%。完整故事见我们的每周 AI 新闻与研究通讯 The Batch https://hubs.la/Q04zXp-p0 #DeepLearningAI #AIAgents
逐个挑选最相关的工具会留下缺口。HYSET 将工具作为整体进行评分。Recall@5:88.6% vs. 81.4%;任务解决率:69.9% vs. 61.8%。完整故事见我们的每周 AI 新闻与研究通讯 The Batch https://hubs.la/Q04zXp-p0 #DeepLearningAI #AIAgents
Ars Technica 报道指出,Model Context Protocol (MCP) 作为 AI 智能体间的通信标准,正成为攻击者利用的新入口。过去五个月中,Google、JP Morgan Chase 等机构确认了针对内部智能体的漏洞,攻击者通过向单个智能体注入恶意提示词,利用其显式信任关系将有害指令沿链传播至其他智能体。
微软和 Hugging Face 联合推出 ThinkingBox,这是一个用于评估 AI Agent 可靠性的新基准和环境。它不依赖模型的最终文本回复或工具调用记录,而是直接检查任务执行后留下的后端数据库状态和副作用(如工单是否真正关闭、退款是否到账)。
推荐理由:微软与 Hugging Face 联合发布 ThinkingBox,通过检查后端数据库状态而非仅看模型回复来评估 Agent 的可靠性,并提供了可复现的基准测试环境。
Hugging Face 推出 ProvenanceGuard,一种针对基于 MCP 的 LLM 智能体的源感知事实性验证层。该工具通过保留证据来源身份,解决跨源混淆问题,在医疗场景测试中成功拦截 139 个错误声明中的 138 个,并在可识别来源时以约 86% 的准确率匹配正确源。
Together AI 对 Kimi K2.7 Code 和 Claude Fable 5 进行落地页生成对比实验,结果显示 Kimi 平均成本比 Fable 低约 16 倍,整体成本低 94%。