DaoCloud团队在vLLM官方博客发布文章，介绍了如何在24张NVIDIA B300 GPU上部署GLM-5.2-NVFP4模型以满足生产级SLA要求。通过采用分离式P/D架构、推测解码填充、Model Runner V2及IndexerCache等优化手段，将平均TPOT从约40ms降至17ms，同时保持TTFT低于2.5秒。
推荐理由：文章详细记录了在24张B300 GPU上部署GLM-5.2的全过程，提供了从TPOT优化到最终SLA达标的具体配置和命令。
Thinking Machines Lab 发布新多模态混合专家模型 Inkling，Together AI 宣布在 Day 0 将其接入推理平台。该模型支持文本、图像和音频输入，拥有 975B 总参数、40B 激活参数及 1M 上下文窗口，并引入查询条件相对注意力等架构创新。
推荐理由：原文详述了 Inkling 的混合专家架构与可控推理机制，并说明其在 Together AI 平台上的即时可用性与 API 特性。
Thinking Machines 发布通用多模态模型 Inkling，支持文本、图像和音频输入及文本输出。Modal 提供 Day 0 支持，将其作为基于 Token 计价的托管端点上线。
推荐理由：原文披露了 Inkling 在 Modal 上的部署细节及 DFlash 投机解码优化，展示了针对混合专家架构的特定工程加速方案。
Modal Research 与 NYU Shanghai HeavyBall Research 联合推出 Multi-token Residual Prediction (MRP) 模块，将多 token 预测引入扩散语言模型。
Together AI 在 ICML 2026 发布九篇论文，覆盖从智能体到 GPU 内核的全栈优化。ThunderAgent 实现最高 3.6× 智能体推理加速，TTT-Discover 用开源 gpt-oss-120b 模型以约 $500 成本超越人类最佳发现。Aurora 自适应推测解码与 Untied Ulysses 支持单节点 5M-token 上下文，共同提升平台效率。
Ai2 实验显示，Olmo Hybrid 在名词、动词等承载意义的 token 上预测优势明显，但在重复输入内容时优势消失。该研究通过对比同为 7B 参数的 Olmo 3 与 Olmo Hybrid，揭示了混合架构在语义理解上的具体强项及注意力机制在精确复现上的不可替代性。
Modal 发布 Auto Endpoints，通过结合 Blackwell GPU、SGLang 引擎与推测解码优化，实现低延迟推理。在 Decagon Voice 案例中，该方案将 p50 延迟从约 290ms 降低 100ms，优于专有服务商表现。
Modal 推出 Auto Endpoints，允许用户通过单条命令部署兼容 OpenAI API 的生产级 LLM 推理服务，实现从 GPU 选择到引擎调优的全链路代码可见性。
推荐理由：原文展示了从黑盒 API 到可观测代码的推理服务范式转变，读者可以据此评估自建推理栈的成本与性能平衡。
Modal 在 Hugging Face 发布针对 Qwen 3.5 和 3.6 系列的多个 DFlash 推测解码（speculative decoding）草稿模型，包括 Qwen 3.6 35B-A3B-DFlash 等版本。
推荐理由：官方开源多款DFlash推测解码模型并给出实测加速数据，为自托管推理优化提供了可直接复用的方案。
Modal 通过调整并行策略和支持不规则内存访问，优化了 FlashAttention-4 内核以适配大语言模型推理。新增 FP8 输入支持使吞吐量较 bf16 基线提升最高 1.16x，并显著减小 KV cache 体积。这些改进针对 decode-heavy 工作负载，利用 CuTe DSL 实现了更高效的低精度计算与长上下文处理。
顺便说一句，这招很管用：在查询末尾要求你的 LLM “将回复结构化为 HTML”，然后在浏览器中查看生成的文件。我也尝试让 LLM 以幻灯片等形式展示输出，效果也不错。更广泛地说，在我看来音频是
Berkeley AI Research 发布关于自适应并行推理（Adaptive Parallel Reasoning）的综述，指出其旨在解决顺序推理导致的上下文退化与高延迟问题。文章对比了 Self-consistency、ParaThinker 等现有方法，强调核心范式转变在于让模型自主决定何时分解任务及并发线程数，而非依赖外部预设的固定并行结构。
- 起草了一篇博客文章 - 使用 LLM 花了 4 个小时精心完善论点 - 哇，感觉很棒，它太有说服力了！ - 有个有趣的主意，让它论证相反的观点吧 - LLM 彻底摧毁了整个论点，并说服我相反的观点其实是正确的 - lol The
(我长期使用各种 LLM，发现它们似乎都有这种表现，所以这不是某个特定实现的问题，而是更深层的原因，例如在训练过程中，上下文窗口中的大量信息与任务相关，因此 LLM 形成了一种利用给定信息的倾向，
有点令人惊讶的是，基于结果的强化学习并没有显著提升思维链的忠实度
感谢 @AndrewYNg 的支持！完全同意，随着越来越多的输出 token 被模型消耗（例如在多步智能体工作流中），而非被人阅读，更快的 token 生成将变得日益重要。