这些词各自隔了几十年才长出来。理一遍来路，少踩混用的坑。

机器学习：不是造一个聪明的，是调一堆数字

机器学习（machine learning）—— 不手写规则，直接喂大量样本，让程序自己把数字调出来。

这个词的年代比你想的早。1956 年夏天，四个人——Claude Shannon、John McCarthy、Nathaniel Rochester、Marvin Minsky——在 Dartmouth 开了个暑研班，被后人当成 AI 这个领域的开厂事件。同一批人里 Shannon 当时在贝尔实验室，他 1950 年那篇论文里已经把「让机器学」当成一条正经技术路线在讨论了。

这个词容易误解的地方在于，它听起来像一种「更高级的编程」。其实它更像调音：输入是样本和一批初始数字，输出是一堆调好的数字。中间发生了什么，没人给你一份能读的说明书——这就是后面所有坑的源头。

神经网络：一次失败，两次复活

神经网络（neural network）—— 一层一层的可调单元，靠调整连接处的权重来学。

它一开始不是计算的。它是 1943 年就有的心理学模型，名字里的「神经」是照着大脑的神经元取的。1958 年 Frank F. Rosenblatt 把它做成了能跑的机器感知机（perceptron），那篇论文标题里直接写了 brain。OpenAlex 检索时被引 12259 次（2026-09-29）。

然后 1969 年 Minsky 和 Papert 出了《Perceptrons》，证明单层感知机有一整类问题学不出来。结论是对的，但传播开之后整个领域冷了十几年，普遍被理解成「神经网络这条路不通」。

第二次复活是 1986 年反向传播（backpropagation）——把预测的误差从后往前一层层传回去、告诉每个参数该往哪调的方法被重新发现。又有二十年，机器学习这一大块基本只服务视觉识别和语音识别，圈外人不知道。

第三次才是大模型那波。中间这次靠的东西叫转换器（transformer）——靠注意力机制处理整段文字的模型结构，2017 年那篇《Attention Is All You Need》提出来的，标题是「只需要注意力机制就够了」，把循环和卷积全扔了。今天你手上每个聊天产品底下都是它。

三次起落，同一个想法。这段历史唯一的用处是提醒你：现在这波热度和 1958 年、1986 年长得一模一样。

大模型和 GPT：一个描述，一个名字

大语言模型（large language model）—— 参数规模很大、用海量文本训练出来的模型。

GPT 是一个产品系列的名字，三个字母本来是「Generative Pre-trained Transformer」的缩写（据维基百科对 ChatGPT 的词条说明，ChatGPT 用的就是 generative pre-trained transformers）。转换器，生成式，预训练过。

所以「GPT」和「大语言模型」不是一个层级的东西。GPT 是一家的产品叫法，大语言模型是一类东西的统称。你可以说 GPT 是大语言模型，不能说所有大语言模型都叫 GPT。

参数（parameter）这个数字也别读错。7B 是七千亿个，175B 是一千七百五十亿个。这里是 GPT-3 的数，2020 年那篇论文里写的。这些数字是同一件事的不同刻度，不是不同等级的能力标签。

最容易混的一对

分词（tokenization）——把文本切成词元的那一步，是个动作。词元（token）——切出来的那一片，模型眼里的最小处理单位。这两个不是一回事：一个是刀，一个是切出来的片。

我一开始把这两个当成同一个词用了很久，直到一次按词元算成本才发现不对：我以为「你好世界」是四个，实际算的是六个。

还有一个是温度。它在 L0 只需要知道一件事：它管随机性。名字听着像「回答有多热情」，完全不是。

延伸阅读

• Computing Machinery and Intelligence（Alan Mathison Turing，1950，期刊 Mind）—— 放在这儿是因为「人工智能」这个词就是从这之后的讨论里长出来的。这篇文章本身没造词，它提的是模仿游戏（imitation game）。图灵先说「机器能思考吗」这个问题问得不清楚，然后把问题改写成可操作的形式：让人隔着屏幕跟对面聊，分不清是人还是机器就算数。DOI: 10.1093/mind/lix.236.433

• Language Models are Few-Shot Learners（Tom B. Brown、Benjamin Mann、Nick Ryder et al.，2020，arXiv 预印本）—— 「GPT-3」这个名字真正出现的地方。1750 亿参数。真正有意思的不是这个数字，是它证明了一件让工程师省事的事：不重新训，只在提问时先给几个例子，模型就能上手新任务——翻译、问答、把打乱的字母还原。翻车的地方论文自己列了，这一段值得读。arXiv: 2005.14165

动手试试

打开任何一个 AI 产品，翻到它的模型说明或者定价页。

找出三个词：参数的规模、上下文窗口的大小、上下文窗口的单价（有的产品会写「每千词元多少」）。

然后做一件很笨的事：拿一段你手头的文字去数汉字，看能不能估出词元数。估不准很正常，重点是最后发现估算和实际账单差多少，以及差在哪——标点、英文、重复词，通常就这几个吃掉了。

五分钟。做完你看这些产品说明的时候，眼睛就不一样了。

下一站

L0 到这儿完了。最后一页说怎么读它，以及下一层的门在哪。