计算机是用来处理数据的，但有一种特殊形式的信息，其含义如此丰富和密集，甚至连最先进的人工智能都无法完全理解。这也是你和我每天直觉处理和处理的问题：语言。

对计算机科学家来说，理解文字和口语是一个巨大的挑战。本月，微软和阿里巴巴的一对团队独立开发了人工智能程序，该程序在阅读理解测试中的表现优于人类，这是一个小小的里程碑。正如你所料，这条消息引起了一系列报道。诸如“机器人现在比人类阅读能力强，使数百万工作面临风险”和“计算机阅读能力比人类强”等标题

但当然，事情并没有那么简单。

从技术上讲，这些标题并没有错。但是，就像许多人工智能的报道一样，他们利用模糊性来夸大事实，以至于令人难以置信地误导(很讽刺的是，考虑到手头的主题是阅读理解。）的确，计算机现在在阅读方面可以超越人类，但只在一项非常具体且受限制的任务上——就连创造者都说，这项任务从来没有被设计来捕捉我们所理解的“阅读”的全部复杂性

正如在AI经常出现的那样，测试实际上是一组数据集，由一群包括Percy Liang和Pranav Rajpurkar在内的斯坦福大学计算机科学家编写。它被称为斯坦福问答数据集（简称为团队），由超过100000对基于536段维基百科摘录的问答组成。然后阅读摘录并回答相关问题。

从表面上看，这支队伍看起来很强大。这些问题涉及面很广，从历史琐事（“马丁·路德什么时候死的？”）到流行文化（“同时也是时间领主的医生的什么敌人？”），再到基础化学（“燃烧需要什么？”）。来源段落同样密集，重点是欧盟立法议定书和公民不服从概念等神秘话题。

面对球队的问题，人类回答正确的问题约占82.3%。阿里巴巴和微软的AIs分别以82.4%和82.6%的得票率略胜一筹。很接近，但胜利就是胜利。

虽然这些问题和话题看起来很吓人，但测试本身很容易。这样想：对于每个问题，计算机和人类都知道答案必须在源代码段的某个地方——不仅仅是答案，而是确切的措辞。问“路德的神学反对谁的权威？”似乎很难，但当原文中包含“路德的神学挑战教皇的权威和职位”这句话时，看起来并没有那么糟糕。你不需要理解什么是“权威”，你只需要寻找基本的语法成分，比如句子的主语和宾语。

Pranav Rajpurkar和Percy Liang解释说，所有这些都是意料之中的。”很多模型都使用模式匹配来得到答案，”Rajpurkar告诉Verge。这包括阿里巴巴和微软的最新努力，两者都使用深度学习来分析样本完成的测试，并从中筛选出回答问题的常用方法。梁解释说：“例如，如果你问某人是什么时候出生的，并且你有一段描述他们生活的文章，算法只会找出问题中的‘时间’，并查找文章中的任何日期。”

这些方法不言而喻是成功的，但是，像许多人工智能形式一样，它们也很容易被欺骗。自从帮助创建团队以来，梁和他的同事罗宾·贾（Robin Jia）**了一个版本的测试，其中包括所谓的“对抗性示例”，旨在搞乱电脑。在这里，这意味着在每个段落中添加额外的信息。

因此，如果你有一个问题问，“在第三十三届超级碗中38岁的四分卫叫什么名字？”你只要确保源文本提到两个四分卫（他们被确定为拥有不同编号的球衣），并且计算机被难住。梁总结了当前人工智能在这些测试中的表现，他说：“这有点像你有一个学生，他可以在测试中表现出色，而不认识任何主题材料。”

巴伊兰大学的讲师Yoav Goldberg专门研究自然语言处理，他说这个错误是把团队看作一个类似于学校测试的东西，而不是一个旨在帮助计算机科学家的工具。戈德伯格在接受《电子邮件边缘》采访时说：“这个小组的设计并不是为了对大众意义上的“阅读理解”进行现实的评估。”它被设计为机器学习方法的基准，而人类的评估是为了评估数据集的质量，而不是人类的能力。“媒体和公关将其解释为比这更重要的东西是错误的。

戈德伯格还指出，计算机所依据的基准并没有真正捕捉到人类最美好的一面。82.3%的准确率来自亚马逊的Mechanical Turk（计算机科学标准实践）招聘的员工，他们每个问题的工资只有几美分，并且必须在一定的时间内回答。”所以也许他们没有真正做到最好，”戈德伯格建议。

梁补充道，“只是稍微描绘一下光谱：当你参加SAT或其他考试时，这些问题比团队问题要困难得多。即使是小学的阅读理解也更难，因为它们通常包括诸如“X为什么这样做？”和“如果这个人没有上学会发生什么？”之类的问题，因此它们更具解释性。我们甚至没有解决那些更开放的问题。”

即使有这些警告，阿里巴巴和微软的程序的表现也值得认可。”在组队之前，如果你问计算机是否能像人类一样对维基百科的factoid问题进行阅读理解，你就不能肯定地说是的，”Rajpurkar说。戈德伯格补充说，在短短几年内，以深度学习为动力的人工智能迅速超越了早期的方法，这仍然令人印象深刻。

能够提取这类数据，即使只是表面上的理解，也可能在许多领域有用——从更好的搜索引擎到为律师和医生挖掘长文档的软件。阿里巴巴以其庞大的在线购物组合而闻名，它表示已经在使用这项技术来帮助现场****查询。

那么电脑阅读的下一步是什么呢？人工智能能像人类一样理解语言吗？该领域的研究人员没有做出任何预测。从表面上看，完全理解文本需要如此多的人类知识，以至于机器可能需要几十年甚至几十年才能与我们匹敌。然而，人工智能的历史表明，最初被嘲笑为“作弊”或“黑客”的解决问题的方法很快就能结合起来，创造出出人意料的强大功能。

“实际上，我认为这些系统将非常有用，”梁说但就智力的巨大挑战而言，我们能让计算机理解吗？这是一个完全不同的问题？梁说，至少这很清楚：更难的测试。