跳到正文
7月28日周二
  1. vLLM 官方博客65

    vLLM 与 Speculators 开源支持 P-EAGLE、DFlash 和 DSpark 并行起草算法

    vLLM 官方博客宣布与 Speculators 合作,正式提供对 P-EAGLE、DFlash 和 DSpark 三种最先进并行起草算法的完整开源支持。这些算法通过在单次验证器模型前向传播中并行生成整个候选 token 块,消除了传统自回归起草(如 EAGLE-3)中逐 token 生成的线性延迟瓶颈。

    推荐理由:vLLM 与 Speculators 开源支持 P-EAGLE、DFlash 和 DSpark 并行起草算法,通过单次前向传播生成候选块以突破自回归限制并提升推理速度。

7月27日周一
  1. vLLM 官方博客83

    vLLM 发布 Kimi K3 Day-0 高效支持指南

    vLLM 宣布为开源多模态 MoE 模型 Kimi K3 提供 Day-0 支持,涵盖架构适配、内核优化及部署配方。在 16 张 NVIDIA GB300 NVL72 GPU 上,启用 DSpark 推测解码后单用户吞吐可达 370 tok/s,较无推测解码提升 3.14 倍。该支持包括混合前缀缓存、预填充/解码分离及 AMD ROCm 兼容,相关 Docker 镜像和详细配置已开放获取。

    推荐理由:vLLM 官方给出了 Kimi K3 的 Day-0 支持细节与性能数据,开发者可据此评估其在生产环境中的部署可行性。

7月25日周六
7月24日周五
  1. Ai2 / Allen Institute for AI30

    Ai2 阐述开放科学如何保障 AI 可理解性

    Ai2 通过发布 Olmo 3 等全开源模型及训练数据、代码和检查点,确立开放科学以保障 AI 系统的可理解性与独立性。外部研究机构利用这些资源验证了临床偏见、基准测试虚高及药物推理逻辑,证明完全开放是独立复现与扩展研究的关键。此举旨在降低对单一供应商的依赖,支持美国本土机构在 AI 研发中的广泛参与。

7月23日周四
7月8日周三
  1. Ai2 / Allen Institute for AI73

    Ai2 分享 MolmoAct 2 在机器人领域的开放价值

    Ai2 发布文章阐述 MolmoAct 2 如何推动机器人领域开放模型发展。LiveKit 工程师 Binh Pham 在黑客松中使用该模型构建语音控制机器人,指出其具备良好空间感知能力且能执行未专门训练的任务。Pham 认为这是机器人领域的 GPT-2 时刻,强调提供权重、数据和代码的完整开放对复现和定制至关重要。

    推荐理由:通过开发者实测案例,具体展示了开放模型在机器人任务泛化上的实际表现与社区价值。

7月2日周四
  1. Ai2 / Allen Institute for AI42

    FlexMoRE 基于 FlexOlmo 实现模块化大模型轻量化

    OdenseNLP 团队基于 Ai2 的 FlexOlmo 架构推出 FlexMoRE,通过引入低秩适配器将专家模块参数缩减至原模型的三分之一以下。该方案在保持推理与知识任务性能的同时显著降低内存需求,使丹麦基金会模型(DFM)等机构能在不共享敏感数据的前提下,于消费级硬件上运行模块化多语言模型。

6月19日周五
  1. Modal 官方工程博客65

    Modal 开源 Qwen 系列 DFlash 推测解码模型

    Modal 在 Hugging Face 发布针对 Qwen 3.5 和 3.6 系列的多个 DFlash 推测解码(speculative decoding)草稿模型,包括 Qwen 3.6 35B-A3B-DFlash 等版本。

    推荐理由:官方开源多款DFlash推测解码模型并给出实测加速数据,为自托管推理优化提供了可直接复用的方案。

6月18日周四
6月4日周四
6月1日周一
5月21日周四
  1. Ai2 / Allen Institute for AI45

    基于 Molmo、MolmoWeb 和 Olmo 3 构建无障碍检测工具 PointCheck

    开发者 Brendan Works 利用开源模型 Molmo、MolmoWeb 和 Olmo 3 构建了网页无障碍检测工具 PointCheck。该工具通过 Playwright 模拟键盘导航,结合视觉模型检查屏幕渲染效果以验证焦点指示器可见性,并由 Olmo 3 生成报告。PointCheck 支持完全自托管,旨在弥补传统代码静态检查在感知层面的不足。