Olmo Hybrid 与 Olmo 3 对比：混合模型在语义 token 预测上优于 Transformer

Ai2 实验显示，Olmo Hybrid 在名词、动词等承载意义的 token 上预测优势明显，但在重复输入内容时优势消失。该研究通过对比同为 7B 参数的 Olmo 3 与 Olmo Hybrid，揭示了混合架构在语义理解上的具体强项及注意力机制在精确复现上的不可替代性。