研究人员说，人工智能在从文本中学习语言时会发现种族和性别偏见。在没有任何监督的情况下，机器学习算法学会了将**名字与家庭词汇相关联，而不是与职业词汇相关联，将黑人名字与白人名字相关联。

在今天发表在《科学》杂志上的一项研究中，研究人员测试了一个普通人工智能模型的偏差，然后将结果与一个著名的心理测试进行比对，该测试测量了人类的偏差。研究合著者、普林斯顿大学博士后艾琳·卡利斯卡恩（Aylin Caliskan）表示，研究小组在算法中复制了他们测试的所有心理偏见。由于机器学习算法非常普遍，从翻译到扫描简历上的姓名，影响了一切，这项研究表明，偏见也是普遍存在的。

“语言是沟通思想的桥梁，很多算法都是建立在现实世界中的语言基础上的，”新美国加州分部主管梅根·加西亚（Megan Garcia）说，他曾写过这种所谓的算法偏见因此，除非alg只根据数字做出决定，否则这一发现将非常重要。”

算法是一组指令，人类写来帮助计算机学习。加州大学圣地亚哥分校的AI研究员扎查里·利普顿说，把它想象成一个食谱，他没有参与这项研究。因为算法使用现有的材料，比如网络上的书籍或文本，很明显，如果材料本身有偏见，人工智能会产生偏见(例如，谷歌照片把黑人用户标记为大猩猩。）我们有一段时间知道，例如，语言算法学会了将“男人”一词与“教授”和“女”一词与“助理教授”联系起来。但是这篇文章很有趣，因为它包含了以前在心理学中对人类偏见所做的工作，利普顿说。

在今天的研究中，Caliskan的团队创建了一个类似于内隐联想测试的测试，这在心理学中常用来衡量人们的偏见程度（尽管对它的准确性有一些争议）。在IAT中，受试者被呈现两个图像，比如说，一个白人和一个黑人，以及“令人愉快”或“不愉快”这样的词。IAT计算出你将“白人”和“令人愉快”与“黑人”和“令人愉快”匹配的速度，反之亦然。这个想法是，匹配两个概念的时间越长，将它们关联起来的麻烦就越大。

研究人员开发的测试也计算了偏差，但它不是测量“反应时间”，而是测量两个单词之间的数学距离。换句话说，如果一个黑名字和“令人愉快”的概念之间的数字距离比一个白名字和“令人愉快”之间的距离大，那么模型在两者之间的关联就没有那么强烈了。单词之间的距离越远，算法将它们联系在一起的次数就越少。

Caliskan的团队随后在一个特定的算法上测试了他们的方法：斯坦福大学的单词表示的全局向量（Global Vectors for Word Representation，手套）。手套基本上是在网络上搜寻数据，并学习数十亿个单词之间的关联。研究人员发现，在手套里，**单词更多地与艺术有关，而不是与数学或科学有关，黑名字比白名字更令人讨厌。这并不意味着人工智能系统本身有什么问题，也不意味着人工智能是如何学习的——材料有问题。

“人工智能是有偏见的，因为它反映了文化、世界和语言的影响，”卡利斯卡恩说因此，每当你训练一个关于人类历史数据的模型时，你最终会邀请那些数据所携带的任何东西，这可能是偏见或刻板印象。”一个限制是团队只能计算与单个单词相关的偏见。接下来，他们对扩展到多个单词或短语以及其他语言感兴趣。

卡利斯卡恩认为，解决办法不一定是改变模式。人工智能只是捕捉到了这个世界的本来面目——碰巧我们的世界充满了偏见。改变算法的工作方式会降低效率。利普顿说，不管怎样，隐瞒信息可能行不通。即使你不告诉模型某人是**还是**，你也会提供其他与性别相关的信息，模型很可能会找到答案。”我们不能想当然地认为任何形式的客观性，永远，”他说。

相反，人类可以在另一端工作。例如，可以调整Google Translate以改进其翻译。所以，如果你看到“医生”总是被翻译成“他”，而“护士”被翻译成“她”，你可以建议改变。

新上任的美国CA主管Garcia说，让更多不同的人参与构建算法可能也会有所帮助。但与此同时，她也认为，第一步只是鼓励大家记住，除非得到纠正，否则总会有偏见：“电脑产生的偏见无处不在。”