以前模型只读文字，现在它能看、能听、能画。

招个只会读文件的同事，和招个能看现场的同事

我第一次把一张报错截图丢给模型，心里想的是「它能看懂吗」。结果它不光说清了哪一行报错，还顺手猜了原因。那一刻的感觉很像：原来我不是在跟一个只能读文件的同事说话，我是在跟一个能抬头看屏幕的同事说话。

这件事靠的是多模态（multimodal）—— 同一个模型同时能处理文字、图片、声音、视频。做法大致是把图片先转成一串数字（也就是嵌入向量），再当成和文字一样的东西往下走。2023 年 6 月 arXiv 上那篇综述就是这么描述这件事的（arXiv:2306.13549），2024 年 11 月正式发在《科学通报》的英文版 National Science Review 上。顺带纠一个我一开始写错的地方：我原先写它是「被引用最多的多模态综述」，那是拍脑袋的。查 OpenAlex 之后发现这条要分两条记录算——arXiv 预印本那条只有 88 次引用，正式发表的那条是 748 次，差了近九倍（OpenAlex 检索，2026-09-29）。引用数这东西，同一篇论文挂预印本和挂正式版是两个账本。

不过要泼一次冷水：能看，和看得准，是两件事。

它看图的方式，有点像只看关键词

2023 年 8 月有一篇专门设计「探针」的研究（arXiv:2308.12898），作者造了一批题去测视觉语言模型到底学到了什么。四个方向：语义结构、否定逻辑、属性归属、关系组合。

结论读起来有点扎心。模型对复杂的句子结构不敏感，理解句子主要靠实词——就是那些有具体指代的东西，名词动词；虚词它基本在忽略。对句子和否定词的组合理解也很有限，比如「桌上没有猫」和「桌上有猫」这两张图，它分得并不好。

翻译成人话：模型看图更像是在扫关键词，看到「猫」「桌子」就打勾，而不是真的在脑子里构建一个画面。属性是谁的、动作有没有、关系成不成立，这些要一层层推的东西，它跳过去了。

这个发现是 2023 年的，仅在这套探针基准上成立，那之后模型进步很大。但我认为它的根子没变：模型依然是通过文字这头进、出的，图片那一头更多是在做匹配而不是在「看」。

听声和生成视频，比看图难一档

看图只需要识别「这是什么」，生成视频要的是连续几十上百帧都对。2024 年 5 月一篇视频扩散模型的综述（arXiv:2405.03150）把这件事的核心难点讲得很直白：时间一致性。也就是第 30 帧里那只手的朝向，得跟第 29 帧和第 31 帧对得上。绝大多数失败都出在这里，而不是画得不像。

2024 年 3 月还有一篇专门追问「Sora 算不算世界模型」的综述（arXiv:2403.05131），收了 250 多项研究。它的结论是：目前的文生视频模型确实在空间、动作、策略这几种能力上有了进步，但像「多样性和一致性之间的取舍」这种 homework 还没做完。我同意这个判断。

我自己的体感跟论文一致。让现在的模型生成一段五秒的「一个人在雨里走过」，画面通常没问题。让它生成十秒、镜头从左摇到右，同一个人从头到尾穿同一件衣服，成功率就掉下来了。

顺手说说音频

声音这条线的情况更分裂。会说话、能听懂、能不能用，进展并不同步。会生成人声这件事已经不新鲜了，但让模型真正理解一段声音里的内容——谁在说话、语气是不是反讽、背景里有没有别的声音在响——截至 2026 年 9 月还算没解决好的部分。我不想给它一个乐观的进度条，因为我没找到能让我放心的公开评测。

我自己被坑过的具体一次

我拿一张会议室白板的照片问模型上面写了什么。它答得很顺：三条项目名，两条带截止日期。

那张照片我放大看过，右侧有反光。它把反光区域的一个日期读成了「三月」，实际上那个位置被白板笔涂掉过，只剩半截。

这就是这行的常态：它不会说「这块我看不清」，它会给你一个看起来很完整的答案。我现在养成的习惯是，只要问题涉及图上的精确数字，我一律自己去核一遍。

延伸阅读

• Can Linguistic Knowledge Improve Multimodal Alignment in Vision-Language Pretraining?（Fei Wang; Liang Ding; Jun Rao et al.，2023，arXiv）—— 造了四个方向的探针题去测模型看图到底学到了什么，结论是它靠实词、忽略虚词、否定判断薄弱。结论仅在这套探针上成立，是 2023 年的结果。arXiv: 2308.12898
• Video Diffusion Models: A Survey（Andrew Melnik; Michal Ljubljanac; Cong Lu et al.，2024，arXiv）—— 把视频生成怎么保证前后帧不打架讲透了，绝大多数翻车都出在时间一致性上。arXiv: 2405.03150
• Sora as a World Model? A Complete Survey on Text-to-Video Generation（Fachrina Dewi Puspitasari; Chaoning Zhang; Joseph Cho et al.，2024，arXiv）—— 收了 250 多项研究，追问生成视频到底学没学到「世界怎么运转」，结论是学了一部分，多样性和一致性之间的取舍还没处理干净。arXiv: 2403.05131
• Hierarchical Pre-Training of Vision Encoders with Large Language Model（Eugene Lee; Ting-Yu Chang; Jui-Huang Tsai et al.，2026，arXiv）—— 直接冲着上面那个「把图片拍平成一串数字」的做法去的。主流做法是把图像嵌入一股脑摊平再喂给语言模型，这篇认为这样会丢掉图像自己的层次结构，改成让视觉编码器和语言模型之间做跨层的注意力，在 MME、GQA、OK-VQA 等几个基准上比摊平的做法好。2026 年 3 月的预印本，作者自己列的对比只在自己用过的那些基准上成立，尚未被广泛复现。arXiv: 2604.00086

动手试试

找一张家里有文字的照片——快递盒上的地址、书本的版权页、水果的标签都行——问模型上面写了什么，然后拿自己的眼睛核一遍。地址和编号是最容易出错的地方，因为它对「看起来像地址」的字符比对「是不是这个地址」更敏感。

我试过一张唱片内页的编号，模型给的是对的，但把年份少报了一年。

下一站

模型现在能看能听，但它还隔着一层玻璃。下一站看具身智能——当这些东西装进一只真机器人身上，会发生什么。

名录来源：本文综合 arXiv cs.CV、cs.MM 检索，2026-09-29。