泰国研究人员如何基于 Dolma 构建 Mangosteen 泰语预训练语料库

泰国研究团队利用 Ai2 开源工具包 Dolma，构建了包含 470 亿 token 的泰语预训练语料库 Mangosteen。该团队针对泰语特性重构了去重与过滤流程，在移除超过 80% Common Crawl 数据的同时提升了模型性能。实验显示，基于 Mangosteen 训练的 LLM 在泰文化知识评测中表现更强。