Hugging Face Blog·· 3 天前精选AI 评分60
NVIDIA与IIT Madras发布2.8万亿Token印度语言预训练语料及开源数据生成管线
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI 导读
NVIDIA联合IIT Madras的AI4Bharat实验室推出Nemotron-pretraining-Indic-v1数据集，包含约2.8万亿token，覆盖22种印度语言的原生脚本及12种语言的罗马化文本。
推荐理由
公开了涵盖22种印度语言的2.8万亿token语料及GPU加速生成管线，为多语言模型预训练提供了可复用的合成数据构建方案。
来源：Hugging Face Blog · huggingface.co