模型太大跑不动，工程师想出了四条省钱的办法。

口袋里的常用词卡，和图书馆那套大部头

我出国前做过一张词卡，正面英语、背面中文，二百来个。那二百个词够我在超市、地铁、餐馆活下来。可要读一份合同，我还是得去查完整词典。

模型正好反过来：它脑子里装的东西太全了。推理（inference）——拿训好的模型去回答问题这个动作。它一次要先把模型叫醒、读一遍它的全部参数、再写回答案，显存和等待时间就是这么来的。

这页讲的四条路，都是在同一个前提下做文章：全都有，但常用的是一小部分。

两条主线：蒸馏和量化

蒸馏（distillation）—— 让一个小模型模仿大模型的行为，通常是学它输出的概率分布，而不只是学正确答案。

为什么学分布有用？因为一个正确选项之外还有一堆「差一点」的选项，它们的相对概率告诉了小模型一件事：这道题哪里容易含糊。光记答案学不到这个。

量化是另一条主线：把小数点砍掉几刀。

量化（quantization）—— 把参数从高精度压成低精度以省内存。这是我离机器最近的一条路，因为它直接决定你笔记本跑不跑得动。

2026 年 1 月一篇综述（doi:10.2139/ssrn.7518402）把现有方法归成四类：事后补偿的、旋转重排的、按重要性保护的、拿校准数据直接学参数的。综述的判断是压到 4 位甚至 2 位，模型的性能损失已经可以做到很小，所以量化现在是部署的标准工具。截至 2026 年 9 月这件事没有争议，但各家报的「几乎不掉点」是不是同一件事，下面那段会说清楚。

但它同时点出一个真问题：不同方法在错误补偿方式、校准流程、硬件假设上各不相同，导致整个领域很难横向比较。换句话说，不同团队报的「我压到 4 位了几乎不掉点」，可能压根不是同一件事。

稀疏：请一百个专家，只叫两个

稀疏（sparsity）—— 模型内部保留很多个「专家」小块，每处理一个词元只激活其中几个。参数总量很大，实际参与计算的很少。这是另一种省钱思路：不压缩信息，而是少动用信息。

这条路在 2026 年 1 月一篇多模态稀疏专家的综述里被讲得很具体（doi:10.2139/ssrn.7245038）。它把核心问题说成：模型设计时假设的稀疏度，和部署在真实硬件上真正拿到的效率，中间有落差。另外还有一层运维问题——专家的负载要均衡，有的专家忙死有的闲死，这一层的调度本身有理论问题，DeepSeek 2024 年提的那个免辅助损失的负载均衡做法到 2026 年还有人在做理论分析（doi:10.2139/ssrn.6641342）。

猜答：先让小的猜，大的一批验

第四条路最巧。让一个小模型飞快地猜出接下来好几个词，然后让大模型一次性把这几个词一起算一遍，对的留下，错的丢掉。这样大模型跑一次顶原来几次。

这套做法叫推测解码（speculative decoding）。它是 2023 年底那波工作起家的，2024 年 NeurIPS 上已经出现了用别的序列模型来当猜的角色的变体（Zhuofan Wen 等，doi:10.52202/079017-2923）。到 2026 年 8 月，《Neurocomputing》上还有人在做自适应混合版本（Yang Yong 等，doi:10.1016/j.neucom.2026.133760）。

我自己的判断：这条路今天最大的限制不是算法，是猜的那位和验的那位跑在同一张卡上时，来回搬数据的开销有时候就把省下的算力吃掉了。所以它至今没有变成默认配置。

我本地跑过的一个教训

我试过在笔记本上用 4 位量化跑一个稍大的开源模型，想让它给我做本地摘要。头一回装完，生成一段话明显发飘，会把两句话的事实揉在一起。

后来我才明白，这类发飘往往不是「知识丢了」，而是某些层对精度特别敏感。2026 年那篇量化综述里也专门提了：不同组件——比如注意力的投影、归一化的那些层——对精度损失的耐受度是不一样的。

所以我的经验是，如果非要压，先挑 8 位，稳，再往下试 4 位。一次跳到最低位省事，但你会分不清是模型不行还是压坏了。

延伸阅读

• Post-Training Quantization for Large Language Models: A Survey（Baha Rababah; Yuzhang Shang; Carson K. Leung et al.，2026，SSRN 预印本）—— 把训练后再量化（PTQ）的方法归成补偿、旋转、重要性、优化四类，也点出各方法硬件假设不同、很难横向比较这个尴尬。预印本，尚未被广泛复现。doi: 10.2139/ssrn.7518402
• Multimodal Mixture-of-Experts: From Sparse Scaling to Conditional Specialization（Cheng Xu; Jiacheng Liu; Xinfeng Xia et al.，2026，SSRN 预印本）—— 讲稀疏专家在多模态里的一个老问题：设计时假设的稀疏度和真机跑出来的硬件效率之间有落差。预印本。doi: 10.2139/ssrn.7245038
• Speculative Decoding with CTC-based Draft Model for LLM Inference Acceleration（Zhuofan Wen; Shangtong Gui; Yang Feng，2024，NeurIPS）—— 换掉推测解码里负责猜的那个小模型，让猜这件事更准，从而减少大模型被叫醒的次数。仅在论文设定的加速比上成立。doi: 10.52202/079017-2923

动手试试

如果你手头能本地跑模型（或者用带量化选项的推理服务），把同一段文字分别在默认精度和低精度下各跑一次，然后盯着「数字」看：编号、日期、代码里的常量。

我自己的经验是，自然语言部分的差别很小，真正会飘的是数字和专有名词。这不是玄学，是模型对这些低频精确模式的鲁棒性本来就弱。

下一站

压小是为了跑得动。跑动之后更要紧的问题是：怎么让它别乱来。下一站讲可控与安全研究到哪一步了。

名录来源：本文综合 CrossRef（NeurIPS 论文集、SSRN 预印本、期刊论文）检索，2026-09-29；arXiv cs.LG 当日限流未及检索。