普林斯顿的研究人员发现为什么人工智能变得种族歧视和性别歧视

  科技创新     |      2018-06-17

进一步准备,自从微软chatbot Tay在Twitter上与人类互动24小时后开始发表种族主义评论以来,当美在( robo )眼魔眼中时,我们的人工智能创作显然会受到人类偏见的影响。现在一组研究人员已经发现了发生这种情况的一个原因。不过,他们的发现比我们未来的机器人霸主更能说明问题。他们还在深入分析人们如何在网上使用英语的基础上,制定了一个能够实际预测人类偏见的算法。

内隐偏误测试许多人工智能都是通过从一个被称为普通爬行的庞大语料库中学习来训练理解人类语言的。常见的爬行是2014年互联网大规模爬行的结果,包含8400亿个令牌或单词。普林斯顿信息技术中心政策研究员艾林·卡利斯坎和她的同事想知道这个由数百万人在网上打字而成的语料库是否包含算法可能发现的偏见。为了弄清楚这一点,他们求助于一个不同寻常的来源:内隐联想测验( IAT ),它被用来衡量通常无意识的社会态度。

参加IAT的人被要求把单词分成两类。一个人把一个词放在一个类别中所花的时间越长,他们就越少把这个词和这个类别联系起来。(如果你想参加国际航空运输协会,哈佛大学有几个在线。) IAT是通过要求人们将随机词与性别、种族、残疾、年龄等类别联系起来来衡量偏见的。结果往往并不令人意外:例如,大多数人把妇女和家庭联系在一起,男人和工作联系在一起。但这种明显性实际上证明了IAT在发现人们对彼此潜在的刻板印象方面的作用。(值得注意的是,社会科学家对IAT的准确性存在一些争论。)

caliscan和她的同事以IAT为模型,创建了单词嵌入关联测试( WEAT ),该测试分析文本块,以查看哪些概念比其他概念关联更紧密。测试的 word - embinding 部分来自斯坦福大学的一个名为GloVe的项目,该项目将单词打包成向量表示,基本上是相关术语的列表。所以单词 dog 如果表示为嵌入单词的载体,它将由诸如小狗、小狗、猎犬、犬类和所有各种狗品种的单词组成。这个想法是要理解狗的概念,而不是具体的单词。这一点尤其重要,如果你在处理社会陈规定型观念,有人可能会用女孩或母亲这样的词语来表达对女性的看法。为了简单起见,研究人员将每个概念限制为300个向量。

要了解概念是如何在网上相互关联的,WEAT会考虑各种因素来衡量它们在文本中的紧密程度。caliscan告诉Ars,从基本上来说,这意味着这两个概念之间有多少单词,但它也考虑到了词频等其他因素。经过算法转换后,WEAT中的亲密度相当于一个人在IAT中对一个概念进行分类所花费的时间。这两个概念越分离,人们心中的联系就越疏远。

WEAT很好地发现了IAT以前发现的偏见。caliscan说:「我们将IAT调整为机器。」这个工具揭示的是如果你给人工智能提供人类数据,它会学到什么。[数据]包含有语言偏见的信息。这种偏差也将影响人工智能未来的行为方式。以caliscan为例,她制作了一段视频(见上图),展示了Google翻译人工智能是如何根据对性别的刻板印象将单词误译成英语的。

想象一下,一群机器人在互联网上释放,复制了他们从人类身上学到的所有偏见。如果我们不对这些系统中的偏见进行某种纠正,那就是我们所期待的未来。

一个人工智能无法解决的问题尽管caliscan和她的同事发现语言充满了基于偏见和成见的偏见,但它也充满了潜在的真理。在一项测试中,他们发现妇女的概念和护理的概念有很强的联系。这反映了一个现实的真相,那就是护理是大多数女性职业。caliscan告诉Ars说:

语言反映了世界的事实。她接着说:

消除对世界的偏见或统计事实将使机器模型不太精确。但是你不能轻易消除偏见,所以你必须学会如何使用它。我们有自知之明,我们可以决定做正确的事情,而不是偏见的选择。但是机器没有自我意识。一个专家也许能在[帮助AIs的决策过程,所以结果I不要对某项任务抱有成见或偏见。

人类语言问题的解决方案是...人类。caliscan总结说:「我想不出很多情况下,你不需要一个人来确保做出正确的决定。」无论应用程序是什么,人类都会知道边缘情况。一旦他们测试了边缘情况,他们就可以确保没有偏见。

机器人将接管人类工作的想法太多了。一旦AIs为我们工作,我们就需要为测试AIs结果准确性和偏见的人创造新的工作。即使聊天机器人变得非常复杂,他们仍将接受人类语言方面的训练。而且由于语言中有偏见,人类作为决策者仍然是必要的。

在最近发表的一篇关于他们工作的科学论文中,研究人员说,这种影响是深远的。他们写道:“我们的发现肯定也有助于关于萨丕尔·沃尔夫假说的辩论。”。我们的工作表明,行为可以由历史使用中所蕴含的文化历史来驱动。这种历史在语言之间显然是不同的。如果你看过电影《抵达》,你可能听说过萨丕尔·沃尔夫——这是语言塑造意识的假设。现在我们有一个算法表明这可能是正确的,至少在刻板印象方面。

caliscan说,她的团队希望拓展业务,试图发现人类语言中迄今未知的偏见。也许他们可以寻找假新闻创造的模式,或者调查特定亚文化或地理位置中存在的偏见。他们也想看看其他语言,那里的偏见编码和英语有很大不同。caliscan沉思道:“

比方说,将来有人怀疑某个文化或地点存在偏见或刻板印象。”。他们可以从那一组人那里获取文本,测试他们是否有这种偏见,而不是先用人类主体进行测试,这需要时间、金钱和精力。这样可以节省很多时间。

科学,2017年。DOI : 10.1126 / science .