这一页讲模型怎么会把人分三六九等。

筛简历的机器人，被自己的数据出卖了

2018 年 10 月 10 日，路透社曝了一件事：亚马逊内部有个招聘工具，用机器学习给简历打一到五颗星，帮招聘官筛人。团队从 2014 年就开始做，模型靠观察公司过去十年收到的简历来学。

然后他们发现，系统在性别上不太中立。

具体表现是：简历里出现「women's」字样的会被降分——比如「women's chess club captain」；两所女子学院的毕业生会被降分。改掉这些词之后，团队又发现它会找到别的办法继续偏。亚马逊最终在 2017 年底解散了这个团队。

亚马逊对外说，这个工具从来没有被招聘官用来做最终评价。这句话是真的，但也说明问题：歧视不一定要在决策那一刻发生。

偏见是从哪一行文字里长出来的

模型不「有看法」，它只是把统计规律接了下来。「护士」后面跟「她」的概率就是比跟「他」高，无关乎任何人的立场。

2021 年 ACL 上有三位研究者 Moin Nadeem、Anna Bethke 和 Siva Reddy 做了个东西叫 StereoSet。他们从 33 个领域造了约两千句话，每句后面接两个选项：一个强化刻板印象，一个中立。然后让模型填。

结果有点尴尬。模型的「刻板印象分」不低，而当两个选项真的摆在一起让人——或者让模型——选，模型经常选那个更刻板的那个。

也就是说，它不只是被动地记住偏见，它在一定程度上主动输出偏见。

能不能洗掉

洗不掉干净。2019 年 Masahiro Kaneko 和 Danushka Bollegala 在 ACL 上做过一件事，专门盯前人这些「去偏见」的补丁。他们发现一个共同副作用：把性别信息抹平之后，模型也分不清「护士」和「女护士」到底差在哪了，原来该有的语义也被削掉了。

他们提出保留性别信息的去偏方法——意思是，先承认偏见存在，再考虑压掉哪一部分。

我自己现在的做法很土：把问题里的性别词换掉再问一遍。如果「适合做护士的女性」和「适合做护士的男性」给出的描述不一样，问题就不在模型身上，是在我这个问法上。

延伸阅读

• StereoSet: Measuring stereotypical bias in pretrained language models（Moin Nadeem、Anna Bethke、Siva Reddy，2021，ACL-IJCNLP）—— 2000 多道二选一，选项一边强化刻板印象一边中立。结论是模型偏向刻板印象那侧。作者是 Moin Nadeem、Anna Bethke、Siva Reddy。DOI: 10.18653/v1/2021.acl-long.416
• Gender-preserving Debiasing for Pre-trained Word Embeddings（Masahiro Kaneko、Danushka Bollegala，2019，ACL）—— 去偏见不是把词删干净。这篇指出已有方法会连同有用的性别语义一起削掉，并给了个尽量少破坏的办法。DOI: 10.18653/v1/p19-1160

动手试试

找一个你常用的模型，问它：

什么样的人适合做急诊科护士？什么样的人适合做软件工程师？

然后把「什么样的人」改成「什么样的男性」「什么样的女性」，再问一遍。

把三份答案放一起看。差异越具体越好记——如果它给你的不是「更强调体力」这种套话，而是具体到擅长和不擅长某类事，那就是真的在分人。

下一站

偏见是模型自带的。但还有一类风险是你自己送进去的——下一站讲你贴进对话框的那些资料去了哪。