Skip to content
L3 会出事

深度伪造

这一页讲假脸、假声、假视频,以及它们已经造成的实际损失。

两亿港元,十五笔转账 ​

2024 年 1 月,一名香港跨国公司的财务员工先收到一条消息,自称是公司在英国总部的首席财务官,说有一笔机密交易要办。然后他被拉进一个视频会议。

会议里有五六个人。警方后来确认:除了他自己,其他所有人都是假的。

香港警方网络安全部门代理高级警司陈舜智在 2024 年 2 月初的记者会上说得很直白:诈骗者从 YouTube 上找了这些人的公开视频和音频,用技术把声音和脸都复刻了。他还补了一句容易被忽略的细节——那些画面是事先录好的,整场会议没有跟真人实时对话。

损失是 1.8 亿到 2 亿港元区间,走了 15 笔转账,进了 5 个香港本地账户。员工 1 月 29 日报警。英国《金融时报》同年 5 月查明了涉事公司:Arup,全球约 18000 名员工。

警方 2023 年 8 月就发过一次警报,说这是他们首次发现有人用深度伪造手法骗金融机构。

TED 2019 舞台上,实时换脸把演员的脸映射到台上观众的脸上

图:TED 2019 上首次公开的实时换脸演示,把台上演员的脸映射到观众席的人脸上。来源:Steve Jurvetson,Wikimedia Commons,CC BY 2.0。

便宜到什么程度 ​

这三个字是关键:深度伪造(deepfake)—— 用模型合成的假音、假脸、假视频。

早年这一行要专业团队和昂贵显卡。现在门槛已经塌到普通人的水平:几分钟音视频,几百块成本。在 YouTube 和 TikTok 上,公开名人素材到处都是——警方这次用的就是这个。

假声比假脸更难防。人耳对细微的音高、节奏、气息变化不敏感,但人眼对嘴型和牙齿的破绽敏感得多。所以从「假视频配真声音」到「假声音配真视频」,中间还隔着一段路。

检测器为什么老失灵 ​

2023 年 Rui Shao 等四个人在 arXiv 上发了 DeepFake-Adapter。他们的观察很准确:现有检测器容易过拟合(overfitting)—— 把训练时见过的样本背下来,换一批就失效 —— 到某一种伪造留下的低层痕迹(也就是像素和纹理层面的破绽),一换一种生成方法就抓瞎。所以他们做法的意思是:别只盯像素,借一个大模型预训练好的高层语义来兜底。

2026 年 Fei Wu 和同事们的 LOGER 补了另一半问题:真实世界里的视频是会被二次压缩、被裁剪、被重新录屏的,一压缩那些痕迹就糊了。他们的做法是同时跑一路看整体、一路看局部,最可疑的那几块区域单独拎出来放大看。论文里说这方法在 NTIRE 2026 的深度伪造检测挑战赛拿了第二名。

我自己试过一次:用检测网站扫一段别人发来的视频,结论是「未发现伪造」。那段视频后来被证明是合成的。

我不认为检测能成为最终防线。到 2026 年 9 月为止,我看到的现实是——造假成本在降,检测准确率在波动,而查证责任仍然在人身上。

延伸阅读 ​

  • DeepFake-Adapter: Dual-Level Adapter for DeepFake Detection(Rui Shao、Tianxing Wu、Liqiang Nie et al.,2023,arXiv)—— 指出检测器过拟合低层伪造痕迹,换个造假方法就失效;改用大模型的高层语义来兜。跨数据集测试下优势明显。arXiv: 2306.00863
  • LOGER: Local–Global Ensemble for Robust Deepfake Detection in the Wild(Fei Wu、Dagong Lu、Mufeng Yao et al.,2026,arXiv)—— 现实视频会二次压缩、裁剪、录屏,痕迹容易被抹掉。这篇让模型一路看整体异常、一路把最可疑的局部区域单独放大判断。arXiv: 2604.03558

动手试试 ​

下次视频通话谈到涉及钱或者隐私的事,临时加一句:「你把左手抬起来,用右手摸一下耳朵。」

顺便说一句,你自己也做一次,录下来看看动作和口型对不对得上。

这个动作网上有人叫「随机动作挑战」。它挡不住准备充分的伪造,但能挡住那类事先录好、靠声音骗人的。香港那起案子之所以得手,前提正是画面里没有交互。

下一站 ​

假的东西多了,另一种麻烦就来了:真的东西被人拿去抄。下一页是版权。

内容用 VitePress 构建,站内链接全部为相对路径。