这一层不讲模型有多聪明，只讲它会怎么坑你。

先说个我踩过的坑

2023 年 6 月，纽约一家律所的律师 Steven Schwartz 用 ChatGPT 查判例，把六个根本不存在的案子写进了给法院的文书里。案子编得有模有样：案号、法官姓名、法院层级都对得上。他后来说，自己当时的想法是「ChatGPT 总不能在编吧，可能是我查不到」。

法官 P. Kevin Castel 在 6 月 22 日的命令里说，这几个人「abandoned their responsibilities」。罚款五千美元，还要他们分别写信给那六个被判为作者的法官，说明那份判决是假的。

我第一次读到这件事，反应不是「AI 太强了」，是「那我以前拿它查过的东西，有多少是真的？」

这一层有七件事

• 幻觉：它编造出看着像真的、实际不存在的东西。
• 偏见：旧文本里对人的成见，被原样搬进模型。
• 隐私：你贴进去的资料去了哪。
• 越狱与提示注入：怎么骗模型绕过限制。
• 深度伪造：假脸、假声、假视频。
• 版权：用别人的书训模型算不算侵权。
• 怎么检查模型有没有骗你：一套五分钟能做的核对流程。

七件事其实是两种祸

翻完这一层，你会发现它们能分成两种，性质很不一样。

一种是它自己做的：幻觉、偏见。模型没读过你任何东西，就把 Internet 上最常见的那套毛病原样带过来了。这类问题的源头是十几年前的旧文本，改一行提示词解决不了。

另一种是有人递进来的：隐私、越狱、深度伪造、版权。这一类里，人是主动的——有人在偷数据，有人在骗限制，有人在造假脸，有人在告状。这一类可能靠产品设计、监管或者法律慢慢收敛。

这么分有个用处：如果你只是想知道「怎么少被坑」，第一类你只能靠核对，第二类你能靠少贴东西、别点陌生链接、开训练开关退出、记住「视频通话要互动」。

我不认为这一层有「解完的一天」

这一点到现在学界还没有定论。

2021 年有三位研究者在 FAccT 上发了后来被引用六千多次的《On the Dangers of Stochastic Parrots》。Emily Bender、Timnit Gebru、Angelina McMillan-Major 和 Shmargheet Shmitchell 提的三个问题——数据从哪来、代价谁扛、挨骂了怎么申辩——今天一个都没消失。

后来做偏见测试的团队干脆做了个题库叫 BBQ，581 道题，藏在「你想当护士还是工程师」这种问句里。模型答错往往不是因为不会做题，而是因为它答的是题里刻板印象最重的那一版。

延伸阅读

• On the Dangers of Stochastic Parrots（Emily Bender、Timnit Gebru、Angelina McMillan-Major et al.，2021，ACM FAccT）—— 大模型刚火起来那年写下的质疑：数据来源不透明、训练代价被藏起来、输出看起来权威但没人能追责。DOI: 10.1145/3442188.3445922
• BBQ: A hand-built bias benchmark for question answering（Alicia Parrish、Angelica Chen、Nikita Nangia et al.，2022，Findings of ACL）—— 581 道刻意挖坑的选择题，测模型在「信息不足」时会自己补上什么。这套题库后来成了偏见评测的事实起点之一。DOI: 10.18653/v1/2022.findings-acl.165

动手试试

拿张纸，分两栏。左边写「它自己做的」，右边写「有人递进来的」。把这七件事一样一样丢进去。

丢的过程中你大概会发现，你真正怕的不是「模型不可靠」这个抽象命题，而是「我昨天粘进去的那段东西」这个具体动作。分完栏，七件事就各自有了各自的应对动作，不用记概念。

如果分完还觉得虚，再加一件事：挑一个你常用的模型，问它五个你心里有底的问题——你老家某地的气候、你看过的某本书的作者、某个 App 的退款政策。把答案抄下来，第二天新开对话再问一遍。两次不一致的地方，就是它不靠谱的地方。我第一次这么干，五题崩了两题。

下一站

从最容易识破、也最容易骗过自己的那件事开始：一本正经地编。