#多模态

Fable 5.1实现博尔赫斯3D故事

Fable 5.1：“实现博尔赫斯的短篇小说。像用 3D 实现它们那样做。去做，让它们富有创意和美感，并帮助我们理解故事的要点。自己想办法。”我不得不告诉它引用博尔赫斯是可以的。有些很棒的东西。试玩：https://borges-in-3d.netlify.app

IBM Granite Switch 4.1 发布：单端点集成对话、决策与语音转写

IBM 发布 Granite Switch 4.1 系列模型（8B 和 30B），通过组合 Decision aLoRA、Guardian aLoRA 和 Granite-Speech-5.0-Turbo-CTC，实现从单一托管端点进行自然语言响应、通用/专用决策及语音转文本任务。

Meta 发布 Muse Spark Open 并上线 Modal Auto Endpoints

Meta 发布开源权重模型 Muse Spark Open，现已通过 Modal Auto Endpoints 提供服务。该模型专为智能体编码和长周期任务设计，具备原生多模态理解能力和 1M-token 上下文窗口，支持代码编写调试、多步规划及故障恢复。

Together AI 上线 Meta Muse Spark Open 模型

Meta 的开源权重模型 Muse Spark Open 已在 Together AI 平台正式可用，作为 Day 0 发布合作伙伴，Together AI 提供该模型的 Serverless API 服务。

Meta 发布 Muse Spark Open：816B 参数开源多模态混合专家模型

Meta 发布 Muse Spark Open，这是一个拥有约 816B 总参数、每 token 激活约 42B 参数的混合专家（MoE）多模态模型，支持文本、图像、音频和视频输入，上下文窗口达 1M tokens。

vLLM 宣布支持 NVIDIA Nemotron 3.5 Super VL 多模态模型

vLLM 正式宣布对 NVIDIA Nemotron 3.5 Super VL 提供 Day 0 支持。该模型采用 120B 总参数、12B 激活参数的 MoE 架构，具备文本、图像、文档和视频理解能力，专为长运行智能体工作流设计。

NVIDIA 发布 Nemotron 3.5 Super VL 和 Bolt 系列开源模型

NVIDIA 发布 Nemotron 3.5 Super VL、Bolt 74B-A9B 24GB 和 Bolt E4B 4GB 三款开源模型，覆盖从企业服务器到边缘设备的智能体部署需求。

Apertus 1.5 发布：支持图像音频理解、思考模式及 262k 长上下文

Apertus 1.5 在 8B 和 70B 版本中新增图像与音频理解、可选思考模式，并将上下文窗口扩展至 262,144 tokens。该模型基于 Apertus 1.0 进行持续预训练，采用早期融合架构处理多模态数据，并在指令遵循与工具调用能力上有所提升。项目以 Apache 2.0 许可证开源权重、数据及训练细节，同时发布了符合 EEE 标准的评估卡片以增强透明度。

AI模型离线构建埃菲尔铁塔

我们要求AI模型在离线状态下以3D形式构建埃菲尔铁塔。其中两个模型凭记忆按顺序添加了全部72位科学家的名字。这出乎我们的意料。每个AA-3D模型都收到了约200字的相同简报，内容涉及塔的形状、格构、平台和照明。它从未

Google Research 发布 Geospatial Reasoning Agent 并扩展早期访问

Google Research 宣布将 Geospatial Reasoning Agent 从概念原型升级为实验性系统，并扩展其在 Google Earth 和 Google Cloud 上的早期访问权限。

HiRO-ACEv2：以约1/300成本实现3公里分辨率极端天气模拟

Ai2 发布 HiRO-ACEv2，通过 HiROv2 降尺度模型将 ACE 的 100 km 输出细化至 3 km，生成全球气候数据的成本仅为 X-SHiELD 的约 1/300。该系统能高精度复现罕见极端降雨、风压及热带气旋，统计误差控制在 3% 以内。目前仅支持匹配 X-SHiELD 的气候场景，未来计划扩展至更暖气候及地表温度等变量。

Ai2 发布 HiRO-ACEv2：以约三百分之一成本实现 3 km 分辨率极端天气模拟

Ai2 发布 HiRO-ACEv2，这是其高分辨率输出 Ai2 气候模拟器（HiRO-ACE）系统的最新更新。该系统能以约为 X-SHiELD 模型三十分之一的成本生成全球 3 km 分辨率的气候数据。核心组件 HiROv2 能同时预测多个高分辨率场，准确复现降雨、风和压力等极端事件，统计误差控制在 3% 以内，并能生成具有真实眼区和雨带的热带气旋。

Molmo 2 开源助力 MIT 研究者开发 Molmo2Fish 优化鱼类追踪

Ai2 开源视觉语言模型 Molmo 2 支持 MIT 研究者 Kai Van Brunt 开发 Molmo2Fish，用于水下声纳视频中的鲑鱼追踪。该模型经微调后在无需修正时性能接近专用系统，并能通过自然语言指令自动纠正追踪错误。Molmo 2 的开放代码与数据使研究者能直接定制多目标追踪任务，为生态监测提供新工具。

Google DeepMind 发布 Gemini 4 Argon 模型

Google DeepMind 正式发布前沿模型 Gemini 4 Argon，面向开发者、企业及消费者开放 API 及订阅服务。该模型在编码、金融、法律、网络安全和科学等领域表现突出，在 Vals Index 中排名第一，并具备 1M token 的上下文窗口。

Google DeepMind 发布 Gemini 4 Argon 机器人专用模型

Google DeepMind 发布 Gemini 4 Argon，这是一款面向机器人领域的通用物理推理模型，旨在加速迈向物理 AGI 的进程。该模型在 Embodied Reasoning (ERQA) 基准测试中纯推理得分达 87%，超越了其他前沿模型。

同一新闻，精选展示《Google DeepMind 发布 Gemini 4 Argon 模型》

Google 发布 Gemini 4 Argon：面向机器人的物理推理模型

Google 发布 Gemini 4 Argon，这是一款专为机器人领域设计的通用物理推理模型，在 Embodied Reasoning (ERQA) 基准测试中以纯推理方式获得 87% 的分数。

同一新闻，精选展示《Google DeepMind 发布 Gemini 4 Argon 模型》

数学家用Opus 5.5制作音乐视频

一位数学家回应 OpenAI 的证明，用 Opus 5.5 制作了一个音乐视频。相当不错。

Gemini 2.5 急诊建议获医生认可

在急诊场景中，过时的 Gemini 2.5 Pro & Gemini 2.5 Flash（无法访问患者病历）给出的建议，经其他医生评估，其质量与人类医生相当。未发现安全问题。此后模型性能已显著提升。

Liquid AI 发布 d1-3B 和 d1-omni-600M 开源边缘决策模型

Liquid AI 发布两款开源决策模型 d1-3B 和 d1-omni-600M，专为边缘设备设计。d1-3B 在 Decision Index 0.2.1 中得分 48.57，优于同尺寸及更大参数量的模型，支持文本和图像输入；d1-omni-600M 作为实验性版本，支持文本与图像或音频的多模态处理。

Google DeepMind 发布 EmbeddingGemma 2：支持文本图像音频视频的统一端侧多模态嵌入模型

Google DeepMind 发布 EmbeddingGemma 2，这是一个基于 Gemma 4 架构的开源轻量级多模态嵌入模型，拥有 740M 参数并采用 Apache 2.0 许可证。

同一新闻，精选展示《Google 发布 EmbeddingGemma 2：支持多模态检索的轻量级开源嵌入模型》

Google Research 发布地球 AI 行星地理空间基础模型用于全球公共卫生

Google Research 推出基于 Population Dynamics Foundation Model (PDFM) 的新范式，利用自监督预训练的位置嵌入增强现有流行病学工作流。

Mistral AI 发布 Mistral Large 4 预览版

Mistral AI 推出 Mistral Large 4（ML4）公开预览版，这是一款拥有 1 万亿参数、490 亿激活参数的原生多模态开放权重模型。该模型在欧洲数据中心使用 NVIDIA Grace Blackwell GPU 从零开始训练，在编码、智能体工作流及网络安全等领域表现卓越，部分指标超越闭源前沿模型。权重将于本月底发布，目前可通过 Mistral Studio 试用 API。

Falcon-Emirati-7B 发布：基于 Falcon-H1-Arabic 的阿联酋方言专用模型

Hugging Face 推出 Falcon-Emirati-7B，这是基于 Falcon-H1-Arabic 构建的阿联酋方言专用大语言模型。该模型采用 Mamba 与 Transformer 混合架构，通过整合真实网络数据、文化背景文本及合成数据，专门优化对阿联酋阿拉伯语词汇、语调及纳巴提诗歌等文化细微差别的理解与生成能力。

Google 发布 EmbeddingGemma 2：支持多模态检索的轻量级开源嵌入模型

Google 发布基于 Gemma 4 架构的 EmbeddingGemma 2，这是一个参数量低于 1B 的多模态嵌入模型，将文本、代码、图像、视频和音频映射到统一的 768 维向量空间。

Google DeepMind 发布 EmbeddingGemma 2 多模态嵌入模型

Google DeepMind 发布开源权重多模态嵌入模型 EmbeddingGemma 2，原生支持将文本、图像、视频帧和音频映射到统一向量空间。该模型参数量为 740M，专为本地隐私优先应用设计，在 Google Pixel 11 Pro 上运行全模态模型仅需约 567MB 活跃内存。

NVIDIA Inception 初创公司利用 AI 填补乳腺癌诊疗缺口

iSono Health、Whiterabbit.ai 和 Ataraxis AI 等 NVIDIA Inception 成员正利用 AI 技术优化乳腺癌筛查与治疗规划。

微软研究院发布 Quine：面向生物学复杂性的 AI 研究系统

微软研究院推出 Quine，这是一个包含生物学世界模型和交互式框架的 AI 研究系统，旨在连接模型、科学工具、文献与研究人员。该系统已在与 Broad Institute 合作的胰腺导管腺癌研究中用于预测和优先排序化合物，并在湿实验中验证了多个候选分子，显著缩短了从计算筛选到实验验证的时间。

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

Google DeepMind 推出 Gemini 3.8 Live with Live Avatar，将低延迟流式视频与对话 AI 结合，赋予智能体实时视觉存在感。该功能支持异步工具调用以维持对话流畅性，并能在 97 种语言间无缝切换且保持唇形同步。目前已在 Gemini Enterprise 开放，允许企业通过参考图像定制品牌专属化身，所有输出均嵌入 SynthID 水印以确保内容透明可追溯。

DeepLearning.AI 端侧记忆助手教程

构建一个能在设备本地存储和搜索所见、所听及被告知内容的助手。在《使用端侧记忆构建 AI 助手》课程中，你将搭建一个能回忆文本、语音和图像的本地记忆系统，并教会它识别新事物

vLLM 集成 PyNvVideoCodec 实现多 GPU 视频字幕生成硬件解码加速

vLLM 通过集成 PyNvVideoCodec 启用 NVIDIA GPU 硬件视频解码，消除 CPU 瓶颈并支持 Qwen3-VL-8B-Instruct 等模型在多 GPU 节点高效运行。在 8xH100 配置下，该方案使视频字幕任务吞吐量较 CPU 解码提升超两倍，显著优化大规模自动驾驶数据标注效率。

Google Research 发布基于生成式 UI 的教育互动模拟器研究

Google Research 推出新研究实验，允许教师通过生成式用户界面（GenUI）创建定制化的交互式教育模拟。该方案结合游戏化设计与教学护栏，已发布包含物理、化学等 STEM 学科的 30 多个示例库，并启动面向 Google Workspace for Education 学校的试点计划。

OpenRouter 解析 DeepSeek V4 系列视觉能力及图像处理方案

OpenRouter 指南指出 DeepSeek V4 并非单一模型，仅 V4.1 Flash 和 V4 Flash Vision Exp 支持原生图像输入，其余版本均为纯文本模型。针对不支持图像的 V4 Pro 等版本，文章演示了通过前置 Qwen3.8 或 Kimi K3 等视觉模型生成文本描述再传入 V4 的替代方案，并提供了相应的 TypeScript SDK 调用示例。

Sierra 多模态智能体实现随对话动态切换的交互界面

Sierra 推出多模态智能体，支持在语音、文本和视觉间自动切换以优化客户体验。该方案通过 MCP UI 集成将产品卡片、对比表格等交互组件直接嵌入对话，并允许一次构建后跨所有渠道部署。

Google DeepMind 发布 WeatherNext 3：最先进且准确的全球天气 AI 模型

Google DeepMind 与 Google Research 推出 WeatherNext 3，这是目前根据 Brightband 独立评估最先进且准确的全球天气 AI 模型。

Microsoft Research 发布 GigaPath-Flash 与 GigaTIME-Flash：高效病理基础模型助力群体规模发现

Microsoft Research 推出开源的 GigaPath-Flash 和 GigaTIME-Flash 病理基础模型，通过知识蒸馏将参数量降至 22M，计算成本降低约 50 倍。

VeRL-Omni v0.2.0 发布：提升扩散模型 RL 训练速度并稳定全模态训练

VeRL-Omni v0.2.0 通过引入请求级批处理和 V1 训练器，将 Qwen-Image FlowGRPO 的生成时间从 226s 降至 108s，GPU 利用率提升至约 100%。该版本还构建了基于可复用适配器、FSDP2 和 vLLM-Omni 的稳定全模态训练栈，支持 SD3.5 Medium 等模型的 LoRA 微调与异步奖励计算。

MindTopo 基准揭示多模态模型在拓扑推理与规划中的能力差距

Microsoft Research 推出 MindTopo 基准，评估多模态大模型的拓扑推理能力。测试显示模型在静态识别上表现优于交互式规划，但在维持连接、封闭等结构关系时易出错。该发现凸显了 AI 在机器人及交互环境中保持空间一致性的不足。

Ai2 推出 OlmoEarth Platform：实现行星尺度地理空间推理

Ai2 发布 OlmoEarth Platform，支持将地球观测基础模型从微调扩展至大规模推理。该平台通过 CPU/GPU 分工与并行处理，可在约一天内完成大陆级区域推理，成本低至每平方公里几分钱。近期北美野火风险地图生成中，平台利用近两万个 CPU 和近千个 GPU 实现 155 倍加速。

Modal 上线 Kimi K3 并实现 Day-0 支持

Moonshot 发布拥有 2.8T 参数、1M token 上下文窗口及原生视觉能力的开源多模态模型 Kimi K3，Modal 在发布当日即提供运行支持。通过定制 DFlash 投机解码器，该模型在 Modal 上实现了 460 tokens/s 的生成速度，较基准提升 360% 交互性且吞吐量提高 88%。

Together AI 上线 Thinking Machines Lab 新模型 Inkling

Thinking Machines Lab 发布新多模态混合专家模型 Inkling，Together AI 宣布在 Day 0 将其接入推理平台。该模型支持文本、图像和音频输入，拥有 975B 总参数、40B 激活参数及 1M 上下文窗口，并引入查询条件相对注意力等架构创新。