这一层把模型拆开看：字怎么进去，注意力怎么连，向量长什么样。

一个你天天遇到、但没人解释的怪事

同一句中文「帮我改改这段话」，贴到 A 家的对话框里，扣费提示说用了 18 个字；贴到 B 家，说用了 24 个。你数了数，一共十七个字。

这不是谁在乱收费。是模型根本不数「字」。它数的是词元（token）——它眼里的最小处理单位，一个汉字可能算一个，也可能算两三个，甚至半个。上一节讲的分词就是干这个的。

我第一次遇到这事是在给一个中文长文档算成本，估出来 3 万字、估完发现按 4 万词元计的账。多出来的七千全在标点和重复词上，从头到尾没人提醒过我。

顺带把后面要用的两个词放在这儿。提示词（prompt）——你输入给模型的那段话。上下文窗口（context window）——模型一次能看进去的词元总数。

八页地图

这一层八页，是从「字进来」到「字出去」的顺序：

1. 分词——文本是怎么被切成模型能吃的小块的
2. 注意力机制——处理一个词的时候，模型在看哪些词
3. 嵌入——词变成了什么，意思相近为什么数字也相近
4. 预训练——那几十亿个数字是怎么被喂出来的
5. 推测解码——为什么生成一段话能变快
6. 上下文窗口——它一次能看进去多少，以及缓存
7. 温度与采样——同一个问题为什么能答出不同花样
8. 参数——「7B」「70B」到底在说什么，以及微调、LoRA、检索增强生成各自动哪里

不用连着读。想知道为什么计费和你想的不一样，读第一页就够了。

三样东西会反复出现

词元。所有长度都说它，不说汉字。

参数（parameter）——模型训练时被调的数字，存着它就等于存着整个模型。你在模型卡上看到的 7B，就是七千亿个这样的数字。

概率。模型没有「我知道了」这回事，它每吐一个词元都是在给所有候选打分，然后按分数抽一个。理解了这一条，前面八页里大半的怪事都能解释。

后面八页会反复用到几个词，先在这里一次性交代掉，省得每页重复：

• 分词（tokenization）——把文本切成词元的步骤。
• 注意力机制（attention mechanism）——处理一个词时，给上下文里其他词分配「该看多少」权重的方法。
• 转换器（Transformer）——一种模型结构，整段文字里的词两两直接连线，不是一个字一个字往前传。现在几乎所有大语言模型都长在这个结构上。
• 嵌入（embedding）——把词变成一串数字，让意思接近的词在数字上也接近。
• 预训练（pretraining）——用海量文本先做一次大规模训练。
• 低秩适配（LoRA）——微调时只改动其中很小一部分参数的省钱做法，第 8 页细讲。
• 上下文窗口（context window）——一次能看进去的词元总数。

读完这层，你未必变强

我不认为读完这八页会让人写出更好的提示词。大概率不会。

但有一件事会变：你看到「这个模型有 200 万上下文」或者「温度调到 0」的时候，能大致知道对方在说什么，而不是当成咒语念一遍。这在 2026 年已经算实用技能了，因为这些词现在天天出现在各家产品的说明里。

延伸阅读

• Attention Is All You Need（Ashish Vaswani、Noam Shazeer、Niki Parmar et al.，2017，NeurIPS）—— 2017 年 Google 团队那篇。核心一句话：把循环和卷积全扔掉，只靠注意力机制处理整段文字，训练还更快。后面七页的东西基本都长在它上面，是全站被引用最多的那篇。arXiv: 1706.03762

• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer（Colin Raffel、Noam Shazeer、Adam Roberts et al.，2019，arXiv 预印本）—— 就是 T5 那篇。干的事是「把所有 NLP 任务都改写成「输入一段文字、输出一段文字」」，然后拿同一个模型一把训过去。顺带开源了 C4 这个大语料。预训练那页会再碰它。arXiv: 1910.10683

动手试试

拿一个你常用的 AI 对话框，在同一段话里插入几个空格、几个换行、几个表情，再问一次同样的问题。看看回答有没有变。

然后打开一个开源的分词可视化页面（搜索「tokenizer visualizer」就有好几个），把你那段话贴进去，看它被切成什么形状。你大概率会看到中文被切得比你想象的碎，而英文单词基本原样保留。

五分钟，够你把「词元」这个词从抽象变成手感。

下一站

从最细的一步开始：你输入的那段字，到底是怎么变成模型能处理的小块的。