深浅色
这一页讲你粘进对话框的那些东西,会被谁看到。
一次真实的侧漏
2023 年 3 月 20 日凌晨 1 点到上午 10 点(太平洋时间),ChatGPT 出了个岔子。
用户打开网页版,左侧的聊天记录栏里出现了别人的对话标题。有人截图发到 Reddit,说自己看到一串关于中国社会主义的对话标题,他一句都没问过。Twitter 上另一位用户 Jordan L. Wheeler 说自己只能看到标题,看不到内容。
OpenAI 事后查出来的原因很朴素:一个开源缓存库 redis-py 的连接管理出了 bug,某个请求被取消后连接没清干净,下一个请求从缓存里拿到的可能上一个用户的数据。更要命的是当周凌晨 1 点他们改了服务器配置,Redis 请求取消量突然飙升,把这个小概率放大成了一连串事故。
后来披露的细节里,1.2% 的 ChatGPT Plus 订阅用户可能看到了别人的姓名、邮箱、账单地址、信用卡卡号后四位和有效期。完整卡号没有泄露过。OpenAI 把服务关了一晚上。
我从那之后落下一个习惯:任何涉及公司机密的东西,我不粘。
图:休斯顿国际机场边检通道的人脸识别闸机。来源:CBP Photography,Wikimedia Commons,公有领域。
贴进去的和训进去的,是两件事
你现在能想起来的隐私风险,其实有三条路径,容易混。
一条是服务端事故,就是上面这种,跟你说了什么无关。
一条是用于训练。这才是大家真正担心的。意大利数据保护机构 Garante 在 2023 年 3 月启动了调查,2024 年 12 月 20 日公布结论:OpenAI 在「没有适当法律依据」的情况下用用户个人数据训练 ChatGPT,违反透明度原则,罚款 1500 万欧元——约合当年全球年收入的 1.58%。
第三条更有意思,训练数据本身能被抠出来。2020 年底 Nicholas Carlini 和团队在 GPT-2 上做了一次「训练数据提取」,从模型里逐字还原出了几百段原文:姓名、电话号码、邮箱、IRC 聊天记录、代码、128 位 UUID。他们的发现是更大的模型反而更容易被提取。
意大利那笔罚款后来被推翻了。罗马法院在 2026 年 3 月 18 日作出判决(案号 4153/2026),撤销了 Garante 那份罚款决定。
边界到底在哪
这一段我不敢给结论,因为到现在也没有。
意大利那两件事放在一块儿特别说明问题:监管机构认为「训练需要法律依据」,而厂商认为这是产品的常规操作。Garante 在 2023 年 3 月 30 日甚至先用过一次紧急措施,暂时限制处理意大利用户的数据,4 月 11 日 OpenAI 承诺整改后才解除。
到 2026 年 9 月为止,主流产品基本都给了「退出训练」的开关和临时对话模式。但这些是产品承诺,不是技术保证。我没有找到任何一项独立、可复现的技术验证能证明「关掉开关之后数据确实没进训练」。
延伸阅读
- Extracting Training Data from Large Language Models(Nicholas Carlini、Florian Tramer、Eric Wallace et al.,2020,arXiv / USENIX Security)—— 不用碰模型内部,光靠不断提问就能让 GPT-2 把训练集里的原文吐出来,包括邮箱和电话。作者是 Nicholas Carlini 和 Florian Tramèr 领衔的十一人团队。arXiv: 2012.07805
- Membership Inference Attacks Against Machine Learning Models(Reza Shokri、Marco Stronati、Congzheng Song et al.,2017,IEEE S&P)—— 换个方向:不问内容,问「这个人有没有参与过训练」。论文证明光是观察模型的输出特征,就能判断某条数据在不在训练集里。DOI: 10.1109/SP.2017.41
动手试试
打开你常用的那个模型,找一找这三个东西藏在哪:数据控制里的训练开关、临时对话模式在哪、导出或删除对话记录的入口在哪。
找不到某个开关,本身就是答案。
顺手做第二件事:在你自己的历史记录里搜一遍,关键词打「身份证」「合同」「密码」「客户」。我搜的时候在一个同事粘上来的客户名单上停了两秒。那一刻比读任何隐私政策都管用。
下一站
贴进去的东西看完了。更麻烦的是:不贴,你也能骗它;贴了,别人能骗它。下一页讲怎么骗。