今天热点:Token 官方中文名定了,叫「词元」
很多人问:这是什么?改个名字对我有影响吗?
今天用大白话讲清楚,给普通人听明白。
先一句话说清楚:Token 到底是什么?
你可以这么理解:
Token 就是 AI 算账的时候用的「计量单位」,就像:
- 买东西用「元」
- 称重量用「克」
- 算距离用「公里」
- AI 算文字,就用「Token」→ 现在官方中文名叫「词元」
为什么叫词元?因为一个 Token 大概就是一个词/半个词,是 AI 处理文本的基本单位,所以叫「词元」。
为什么要改中文名?
以前大家都叫 Token,音译什么都有:
- 通证
- 令牌
- 代币
- 托肯
乱七八糟,谁都看不懂,现在官方定了统一中文名「词元」,以后大家说中文就不用乱翻了,挺好的。
对我们普通人有什么影响?
1. 以后说中文终于能听懂了
以前你听别人说”我这个模型100k Token”,你还懵圈,现在可以说”我这个模型支持十万词元”,一听就懂是AI处理能力,不用再猜是什么意思。
2. 对普通用户没用,对行业有用
统一名字了,行业交流方便,写文档写教程不用再纠结翻译成什么,减少沟通成本。
3. 知道这个概念,能帮你避坑
现在很多AI项目吹”我支持百万Token”,你知道了Token就是词元,就明白”百万词元”就是能处理百万个字,大概就是一本长篇小说,够不够用你自己就能判断,不会被商家瞎吹忽悠。
一句话总结
- Token = AI处理文本的计量单位,现在官方中文名定了叫「词元」
- 对行业是好事,统一名字减少沟通成本
- 对普通人来说,知道这个概念,能帮你不被忽悠,就够了
以后别再乱叫了,就叫「词元」。
你之前叫对了吗?