新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍

来源摘要

IT之家 10 月 30 日消息，使用人数较少的语言的用户，使用 AI 服务时，可能需要支付比英语及其他主流语言用户更高的费用。当地时间 28 日，据外媒 Rest of World 报道，人工智能语言公平研究联盟上月发布的一项研究发现，AI 模型处理不同语言时，消耗的 Token（词元）数量可能相差悬殊。Token 是 AI 模型处理文本等数据的基本单位，由分词器将文本、图像或音频拆分而成。研究人员将不同语言因此产生的额外成本称为隐性的“分词器税”，网络内容较少的语言尤其容易受到影响。研究发现，即使是互联网上最常用的…

摘要由机器生成（来自来源站点），可能存在偏差； 本站不转载全文，请以原文为准。