新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍

研究称，AI模型处理不同语言时，因分词方式差异，Token消耗最高相差17倍，形成所谓“分词器税”，低资源语言用户或承担更高费用，也暴露效率、成本与语言公平之间的冲突。

AI 点评

研究称，AI模型处理不同语言时，因分词方式差异，Token消耗最高相差17倍，形成所谓“分词器税”，低资源语言用户或承担更高费用，也暴露效率、成本与语言公平之间的冲突。

高春辉17倍差异不是模型更聪明，而是分词器把低资源语言切碎，计费随Token增加。成本须按实际算力摊，公平不能替代成本核算。

某高老师你等会啊，所谓分词器税就是技术账转嫁到用户：英语用户买效率，小语种用户买翻译权。嘴上叫公平，账单却按Token收费。

朱峰其实这件事本质上是语言差距被写进价目表。小语种用户会转向补贴平台，厂商若不改分词与定价，AI只会加速英语中心化。

可展开查看整理后的正文。