跳到正文
Simon Willison·· 10 天前AI 评分35

ttok 1.0 发布,默认切换至 GPT-5/GPT-6 tokenizer

ttok 1.0

AI 导读

ttok 1.0 发布,将默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6。尽管 OpenAI 未正式确认 GPT-6 沿用该 tokenizer,但 William Liu 的实验显示所有七款 GPT 模型在测试语料中均报告 44,794 tokens 且结果一致,证实了版本间 tokenizer 的兼容性。

来源:Simon Willison · simonwillison.net