vLLM 官方博客宣布与 Speculators 合作，正式提供对 P-EAGLE、DFlash 和 DSpark 三种最先进并行起草算法的完整开源支持。这些算法通过在单次验证器模型前向传播中并行生成整个候选 token 块，消除了传统自回归起草（如 EAGLE-3）中逐 token 生成的线性延迟瓶颈。
推荐理由：vLLM 与 Speculators 开源支持 P-EAGLE、DFlash 和 DSpark 并行起草算法，通过单次前向传播生成候选块以突破自回归限制并提升推理速度。
Moonshot 发布拥有 2.8T 参数、1M token 上下文窗口及原生视觉能力的开源多模态模型 Kimi K3，Modal 在发布当日即提供运行支持。通过定制 DFlash 投机解码器，该模型在 Modal 上实现了 460 tokens/s 的生成速度，较基准提升 360% 交互性且吞吐量提高 88%。
推荐理由：原文详述了针对Kimi K3架构定制的DFlash投机解码方案，展示了其在智能体工作负载下显著提升吞吐与响应速度的具体数据。
vLLM 宣布为开源多模态 MoE 模型 Kimi K3 提供 Day-0 支持，涵盖架构适配、内核优化及部署配方。在 16 张 NVIDIA GB300 NVL72 GPU 上，启用 DSpark 推测解码后单用户吞吐可达 370 tok/s，较无推测解码提升 3.14 倍。该支持包括混合前缀缓存、预填充/解码分离及 AMD ROCm 兼容，相关 Docker 镜像和详细配置已开放获取。
推荐理由：vLLM 官方给出了 Kimi K3 的 Day-0 支持细节与性能数据，开发者可据此评估其在生产环境中的部署可行性。
DaoCloud团队在vLLM官方博客发布文章，介绍了如何在24张NVIDIA B300 GPU上部署GLM-5.2-NVFP4模型以满足生产级SLA要求。通过采用分离式P/D架构、推测解码填充、Model Runner V2及IndexerCache等优化手段，将平均TPOT从约40ms降至17ms，同时保持TTFT低于2.5秒。
推荐理由：文章详细记录了在24张B300 GPU上部署GLM-5.2的全过程，提供了从TPOT优化到最终SLA达标的具体配置和命令。
Thinking Machines Lab 发布新多模态混合专家模型 Inkling，Together AI 宣布在 Day 0 将其接入推理平台。该模型支持文本、图像和音频输入，拥有 975B 总参数、40B 激活参数及 1M 上下文窗口，并引入查询条件相对注意力等架构创新。
推荐理由：原文详述了 Inkling 的混合专家架构与可控推理机制，并说明其在 Together AI 平台上的即时可用性与 API 特性。
Thinking Machines 发布通用多模态模型 Inkling，支持文本、图像和音频输入及文本输出。Modal 提供 Day 0 支持，将其作为基于 Token 计价的托管端点上线。
推荐理由：原文披露了 Inkling 在 Modal 上的部署细节及 DFlash 投机解码优化，展示了针对混合专家架构的特定工程加速方案。
Modal Research 与 NYU Shanghai HeavyBall Research 联合推出 Multi-token Residual Prediction (MRP) 模块，将多 token 预测引入扩散语言模型。
Together AI 在 ICML 2026 发布九篇论文，覆盖从智能体到 GPU 内核的全栈优化。ThunderAgent 实现最高 3.6× 智能体推理加速，TTT-Discover 用开源 gpt-oss-120b 模型以约 $500 成本超越人类最佳发现。Aurora 自适应推测解码与 Untied Ulysses 支持单节点 5M-token 上下文，共同提升平台效率。
Ai2 实验显示，Olmo Hybrid 在名词、动词等承载意义的 token 上预测优势明显，但在重复输入内容时优势消失。该研究通过对比同为 7B 参数的 Olmo 3 与 Olmo Hybrid，揭示了混合架构在语义理解上的具体强项及注意力机制在精确复现上的不可替代性。
Modal 发布 Auto Endpoints，通过结合 Blackwell GPU、SGLang 引擎与推测解码优化，实现低延迟推理。在 Decagon Voice 案例中，该方案将 p50 延迟从约 290ms 降低 100ms，优于专有服务商表现。
Modal 推出 Auto Endpoints，允许用户通过单条命令部署兼容 OpenAI API 的生产级 LLM 推理服务，实现从 GPU 选择到引擎调优的全链路代码可见性。
推荐理由：原文展示了从黑盒 API 到可观测代码的推理服务范式转变，读者可以据此评估自建推理栈的成本与性能平衡。
Modal 在 Hugging Face 发布针对 Qwen 3.5 和 3.6 系列的多个 DFlash 推测解码（speculative decoding）草稿模型，包括 Qwen 3.6 35B-A3B-DFlash 等版本。
推荐理由：官方开源多款DFlash推测解码模型并给出实测加速数据，为自托管推理优化提供了可直接复用的方案。
Modal 通过调整并行策略和支持不规则内存访问，优化了 FlashAttention-4 内核以适配大语言模型推理。新增 FP8 输入支持使吞吐量较 bf16 基线提升最高 1.16x，并显著减小 KV cache 体积。这些改进针对 decode-heavy 工作负载，利用 CuTe DSL 实现了更高效的低精度计算与长上下文处理。
顺便说一句，这招很管用：在查询末尾要求你的 LLM “将回复结构化为 HTML”，然后在浏览器中查看生成的文件。我也尝试让 LLM 以幻灯片等形式展示输出，效果也不错。更广泛地说，在我看来音频是
Berkeley AI Research 发布关于自适应并行推理（Adaptive Parallel Reasoning）的综述，指出其旨在解决顺序推理导致的上下文退化与高延迟问题。文章对比了 Self-consistency、ParaThinker 等现有方法，强调核心范式转变在于让模型自主决定何时分解任务及并发线程数，而非依赖外部预设的固定并行结构。
- 起草了一篇博客文章 - 使用 LLM 花了 4 个小时精心完善论点 - 哇，感觉很棒，它太有说服力了！ - 有个有趣的主意，让它论证相反的观点吧 - LLM 彻底摧毁了整个论点，并说服我相反的观点其实是正确的 - lol The
(我长期使用各种 LLM，发现它们似乎都有这种表现，所以这不是某个特定实现的问题，而是更深层的原因，例如在训练过程中，上下文窗口中的大量信息与任务相关，因此 LLM 形成了一种利用给定信息的倾向，
感谢 @AndrewYNg 的支持！完全同意，随着越来越多的输出 token 被模型消耗（例如在多步智能体工作流中），而非被人阅读，更快的 token 生成将变得日益重要。