深浅色
给机器人装上能听懂人话的大脑,进度到哪一步了。
教一个人倒水,和教一个从没见过你家的机器人倒水
我教一个朋友在我家倒杯水很简单:柜子在哪、水温多少、杯子轻拿轻放。换成机器人,同一句话要拆成一堆更细的东西——手臂末端要保持在杯子把手正上方、夹力不能超过某个数、转身时不能撞到旁边的椅背。
多模态那一页说过,模型能看图能听声,但它看到的和听到的都是数字。要让这些数字变成真实世界的动作,中间缺一层翻译。做法通常是把三个模态接在一起:视觉-语言-动作模型(Vision-Language-Action model)—— 直接从摄像头画面和一句人话,算出接下来这一瞬间关节该转到哪个角度。
这一层的领域叫具身智能(embodied AI)—— 让大模型不只活在文本里,而是通过一个身体在物理世界行动。截至 2026 年 9 月,这是全站里进展最不均匀的一块。
图:两台 KUKA 机械臂同步编舞,作品《The Beach》(Roy Nachum)。让机械臂把一个舞蹈动作重复一千次不累、不偏,靠的是每个关节精确的角度指令——大模型最后要输出的也正是这个。来源:Oleg Yunakov,Wikimedia Commons,CC BY-SA 4.0。
好消息:单点任务已经能用了
2026 年 6 月一篇综述把这一类模型的实测数据汇总了一遍(doi:10.20944/preprints202606.0400.v1)。里面有两个数字值得记。
一个是迁移能力。Google 那条线上的 RT-2 在没见过的物体上成功率 85%,前一代 RT-1 是 60%。同一个实验室、同一套评测,差 25 个百分点。这说明「见过的东西」和「没见过的东西」之间那道坎确实在变窄。
另一个是插入这类精细动作。用扩散式的动作生成,插入任务成功率超过 95%,传统的行为克隆方法是 70%。合起来的意思是:机器人手在实验室里能把插头对准插座。
坏消息:三个数字把期待拉回现实
同一篇综述里还给了三个我认为是这行天花板指示器的数字。
第一个,规模的收益很早就用完了。综述给出的指数大约在 0.15 到 0.25 之间——意思是参数翻一倍,效果只涨一点。这跟纯语言模型刚起步那会儿完全不是一回事。
第二个,遇到没见过的东西掉得厉害。遇到全新的几何形状,表现大约掉 40%。你家里那个抽屉的把手,不是标准形状。
第三个,我觉得最扎心:机器人学一样东西需要的样本数,比人学同样的东西差 100 到 1000 倍。人看三次就会的东西,机器人要看几千次。
还有一个隐藏的坑:时间一致性会随任务时长按开平方往下掉。任务短的时候还好,任务一长,误差累积得比线性还快。
我看到的一个转折信号
2026 年 7 月有篇预印本(doi:10.21203/rs.3.rs-10243884/v1)做的事挺有意思:作者用低秩适配(LoRA)—— 只微调很小一部分参数的省钱做法 —— 加上量化,把一个大约 31 亿参数的视觉-语言-动作模型塞进了一块消费级显卡,8GB 显存,跑在一台 100 多美元级别的 SO101 机械臂上,只用了 200 条示教数据,完成了一个按按钮的任务。
31 亿参数这个数字以前是不可想象的——同样的活儿要一台实验室级别显卡才转得动。这篇是预印本,只验证了一个按按钮的任务,仅在论文自建的实验上成立,尚未被广泛复现。
但方向上它说明了一件事:这行现在真正的瓶颈可能不是模型,是「谁买得起显卡去做实验」。算力便宜了,实验次数上去了,也许才是这块真正开始动的原因。
还需要一个会预测的东西
还有一条路是在机器人前面加一个「会预演」的世界模型(world model)—— 在脑子里先模拟一遍接下来会发生什么,再决定怎么动。2026 年 1 月一篇综述(doi:10.36227/techrxiv.176948355.54623875/v1)把这条线上的工作分成四类:负责规划的、负责出动作的、负责合成的、负责仿真的。
动机很清楚:现在的机器人不擅长「精确捕捉物理动态」,也不擅长「判断我这个计划到底能不能执行」。它会把杯子推倒,因为它不理解杯子会倒。
这四类目前都还是研究阶段。我不认为哪一类已经被证明是那条对的路。
延伸阅读
- Vision-Language-Action and Vision Language Models for Robot Manipulation: A Comprehensive Review Towards Real-World Applications(Md Selim Sarowar; Sungho Kim,2026,MDPI 预印本)—— 汇总了这一行的实测数据:RT-2 在没见过物体上 85% 对 RT-1 的 60%,样本效率比人差 100 到 1000 倍,遇到新形状掉约 40%。预印本,未经同行评审,数字均为该综述对他人结果的汇总。doi: 10.20944/preprints202606.0400.v1
- Towards Generalist Embodied AI: A Survey on World Models for VLA Agents(Wentao Tan; Lei Zhu; Bowen Wang et al.,2026,IEEE TechRxiv 预印本)—— 把「给机器人加一个会预演的大脑」分成四类,出发点是现在的机器人既不懂物理动态也判断不了计划可不可行。预印本,尚未被广泛复现。doi: 10.36227/techrxiv.176948355.54623875/v1
- Towards Accessible Physical AI: LoRA-Based Fine-Tuning of VLA Models for Real-World Robot Control(Abdullah Yahya Abdullah Omaisan; Ibrahim Sheikh Mohamed,2026,Research Square 预印本)—— 把 31 亿参数的视觉-语言-动作模型压进 8GB 显存的消费级显卡,用 200 条示教数据在廉价机械臂上完成按按钮任务。仅在这一个任务上验证。doi: 10.21203/rs.3.rs-10243884/v1
动手试试
视频网站上一搜 robot manipulation,你会看到大量完美的成功案例。随便挑一个点开,然后去找同一个研究组失败的那一段(很多论文的附录里会放,或者搜带 failure 的关键词)。
我这么做的收获是,第一次看完那些成功视频,我心里想的是「这也太稳了」;看过失败合集之后才知道,实验室的成功率是多次尝试里挑出来的最好一次。
下一站
模型接进机器人,卡在算力上。下一站看工程师们怎么把模型压小、压快、压到普通电脑上能跑。
名录来源:本文综合 CrossRef(IEEE 会议论文、MDPI 与 TechRxiv 预印本)检索,2026-09-29;arXiv cs.RO 当日限流未及检索。