AI语言公平联盟发布分词器税研究

1. 12:25
   IT之家

   新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍

   人工智能语言公平研究联盟发现，AI 模型处理不同语言的 Token 消耗量差异悬殊，最高可达 17 倍。这种“分词器税”导致非英语用户面临更高费用、更慢响应及更少上下文容量。专家建议通过提高底层数据质量及改进下一代分词器设计来缩小差距。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。