Ai2 / Allen Institute for AI·· 17 天前AI 评分58
Ai2 发布 Olmo-core 3：面向万亿参数 MoE 的开源训练基础设施
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
Ai2 发布 Olmo-core 3，这是其大语言模型开发框架的重大升级，包含重新设计的开源混合专家（MoE）训练系统，旨在将 MoE 训练扩展至万亿参数规模并保持计算效率。
来源：Ai2 / Allen Institute for AI · allenai.org