Token是什么

2026-09-25 · 彬城AI AI科普系列

最近北京密云一位副局长火了，他自购十亿Token，用AI手搓了一个防汛小程序。那么你知道Token是什么吗？今天这期视频，我带大家了解一下什么是Token。相信我，看完这期视频，小学生都能明白Token是什么。

首先，Token，英文含义做名词，意思是代币、通行证、标记。那么在AI普及的今天，它被赋予了全新的含义。2026年3月，国家数据局正式命名它叫"词元"。那么官方的解释，它就是AI处理信息的最小单元。

那么我们怎么来理解这句话呢？比如说有一天你和AI聊天，你跟他发说"我真是个帅哥"，那么AI他就给你回复，他说"必须承认，走哪都亮眼"。那么我们看一下这个回复过程，了解了这个回复过程，我们也就了解了什么是Token。

首先，回复过程分为三个步骤：第一步，分词；第二步，转数字；第三步，生成。

那么可能你会问，为什么第一步是分词呢？因为我们知道电脑都是二进制的，所以AI只能读懂数字，看不懂文本。而AI它内置了一张有限的词汇表，比如说这个词汇表里面有"我""真是""个""帅哥"这么几个词语。那么它是通过数字映射的方法，每一个词或者每一个字，它都对应一串数字编码。比如说在这个模型里面，"我"对应102，你可以把102理解成一个向量的集合库。那么AI读懂了这个数字，他读懂了这个102，他也就看懂了"我"是什么意思。

好，那么我们再来看这个过程。首先第一步它是分词，分词它将这句文本"我真是个帅哥"分成了四个部分："我"是一个部分，"真是"又是一个，"个"又是一个，"帅哥"又是一个。那么这样他就被分为了四个Token，也就是四个最小单元。那么做这件事情的一个工具呢就是Tokenizer，叫做分词器。被分词器切分下来的片段，我们就叫它Token。

那么第二步，转数字。还是拿这句话举例，我们分为了四个Token，每一个Token都对应了一串数字编码。那么AI拿到这个数字编码以后，把它认作为一个带语义的向量库。AI再通过它海量的训练数据，推理计算相应的数字，然后通过反向查找词汇表，查找一个有限的词汇表，最后得出我们的输出Token，TokenA、TokenB一直到TokenX，也就是我们这句话的回答了。这就是简单的一个AI回复的一个过程。

那么只要理解了这个过程，肯定就已经明白了，Token它其实就是词元，也就是AI处理信息的最小单元。

本文整理自彬城AI《AI科普》系列科普视频，文字略有整理。更多内容见行业洞察。彬城AI（彬城工程咨询（南昌）有限公司）提供人工智能体开发、信息化系统建设与AI实战培训服务，业务交流请致电 182 7919 8383。