早上给合营方发需求，你在ChatGPT里敲：“禁闭拟份居品诠释官网登录入口，重心讲性价比！”

你以为它收到整句话？其实它眼里是堆拆碎的“小砖块”：「禁闭」、「拟份」、「居品」……每个词致使标点皆可能被切成不同块。

这即是大语言模子藏得最深的“黑科技”——Token分词。

为什么要拆？模子“脑子”装不下统共词

得先搞懂：模子的“脑子”，就那么大——GPT-2装3万个“小砖块”，GPT-3装5万，当今最牛的模子也就10万傍边。可英语有几十万单词，中语有几百万，根柢装不下统共词。

咋办？只可把冷漠词拆练习悉的“砖块”。比如“extraordinary”（超卓的），模子没学过，但它学过“extra”（特等）+“ordinary”（浩繁），拼起来就知谈是“超卓的”。

遭遇没见过的“biocatalyst”（生物催化剂），拆成“bio”+“catalyst”，也能猜出跟生物洽商。

伸开剩余73%

还有，拆碎了省力气。比如“机器学习”拆成“机器”+“学习”，比存通盘词少占空间，算得快，否则你发100字，它得算半天，半天回不了音讯。

说白了，Token就是模子的“最小领路单位”，它不是看你句子，是看一堆能拼起来的“小砖块”。

怎么拆？四种“测字法”，各有各的招

模子测字不是乱切，有四种常见套路：

BPE（GPT系列用）——像搭积木粘高频词

先拿单个字母当积木（比如“H”“e”），把常沿途出现的粘成块（比如“ll”）。自后还能拆成电脑能认的字节，连冷漠emoji、特殊符号皆不怕。

WordPiece（BERT用）——粘起来要“顺嘴”

跟BPE像，但看“顺不顺”：比如“unhappy”拆成“un”+“##happy”，“##”标记“happy”不是词起头，前边得有“un”（不）。

SentencePiece（T5用）——岂论原词径直切

更狠，把整句话当字符，连空格皆当符号。比如“Hello world”拆成“▁Hello”+“▁world”（下划线默示“后头要接单词”），相宜日语、中语这种没空格的语言。

Unigram（SentencePiece搭档）——扔没用的“砖块”

先拿一堆可能的块（比如“机”“器”“学”“习”），再迟缓扔没用的，留最灵验的——像整理抽屉，只留常用的。

拆的禁闭？为啥你以为模子总“笨”？

这“测字游戏”，也把模子的“极度”带出来了——你日常吐槽的那些问题，其实皆源于此：

算钱总超预算：API按Token收费，英文1Token≈4字符，100个单词≈75Token（等于花75块）；中语更贵，你发段话，其实是“烧钱”。

算分裂数：问“3.11和3.9哪个大”，它拆成“3”+“.”+“11”和“3”+“.”+“9”，不是比数值，是看哪个组合常见——是以有技术答对，有技术错。

外文/代码总出错：日语化名拆得多，慢还容易清爽错；代码“for i in range(10)”拆成“for”+“i”+“in”+…，逻辑散了，总漏括号。

拼写错了没法纠：打“heloo”（错），拆成“hel”+“oo”，皆是冷漠块，模子只可瞎猜“是不是‘hello’？”

结语：它不是笨，是得“学会”懂你

其实它不是专诚整你，就像小孩学语言，得先把句子拆成单词，再拼起来懂意旨酷好。可大东谈主拆得多了，未免漏合座，比如把“3.11”拆成碎块，就忘了这是个数字。

我们得顺着它的性情：发音讯写明晰，别用冷漠词；算钱先估Token，别等账单喊“坑”；别指望它作念复杂数学题，它仅仅“测字能手”，还没成“清爽专家”。

但话说回归，能把一堆“小纸条”拼成畅通的话，陪你聊天、写案牍、改代码，照旧很历害了。毕竟，从“测字”到“懂你”，它照旧走了很远的路。

发布于：广东省