Transformer 的本质,就是一台成语接龙机器
看一遍前文 → 吐一个字 → 接回句尾 → 整句再跑一遍。它不认识汉字,只认识数:1 句话 → 4 个 token → 4 行数 → 互相看 96 遍 → 吐 1 个词
当前输入 他 · 把 · 苹果 · 放进 → 正在猜下一个字
1分词切成 token
2入向量库变成一行数
3标位置补上排第几
4注意力互相看,改写自己
5吐一个词只猜一个字
6接龙喂回去,再跑一轮
STEP 1
标题副标题
说明
温度temperature
苹果token #17208它的来龙去脉
接龙Autoregressive第 1 / 5 轮
auto 自己 + regressive 往回走 = 自己吐出来的词,回头当成自己的输入,再算一遍
整句重跑一遍:吐出的词接在句尾,再从第 1 站算到第 5 站
拖动旋转·滚轮缩放·点方块跟它走完五站,最后一站看它怎么接龙
窗口较窄,已切到斜视总览 · 拉成横屏,五站会摊开得更清楚