你们如何教计算机理解语言——不仅仅是转录人类的语言，而是真正理解别人在说什么？这是人工智能面临的重大挑战之一，我们仍然不知道解决这个问题的最佳方法。Facebook的人工智能研究实验室FAIR有一个想法：通过让人工智能引导纽约市的虚拟游客，教他们理解语言。

FAIR正在发布一个名为Talk the Walk的数据集，该数据集设计用于其他研究人员。它由三个元素组成：纽约市社区的小地图（每个街区宽两个街区）、相同地点的360度照片，以及人类在这些社区相互引导的对话样本。基本上，这是你可能需要教一个人工智能来处理这个任务本身的一切。

作为一种训练人工智能的方法，这听起来可能有点奇怪，但FAIR正在进入一个被称为“扎根语言学习”或“体现学习”的既定研究领域。该理论认为，我们教人工智能像人类一样理解语言的唯一方法是让他们像我们一样学习——在现实世界中。

费尔的研究员杜威·基拉（Douwe Kiela）将当前的培训方法比作给某人一本外语词典，并期望他们自学。”“在自然语言处理方面，我们倾向于使用像维基百科这样的大型语料库，并[获取人工智能]来寻找统计模式，这与人类的学习方式非常不同，”基拉说人类学习语言的效率很高，因为我们可以将自己的经历与周围的世界联系起来。”

当然，纽约市的一小部分并不能代表整个世界。但是我们的想法是，如果我们能让人工智能在这一特定任务中取得成功，研究人员使用的技术将适用于其他地方。这是推动人工智能发展的一种既定方式，著名的数据集（如ImageNet）通常被认为推动了整个领域的发展。

Talk the Walk: AI "tourist" and "guide" dem***trationPosted by Facebook Engineering on Tuesday, July 10, 2018

FAIR的研究人员建议团队尝试教两名人工智能代理导航他们的虚拟纽约地图。一个是“游客”，可以看到360度的照片，但看不到地图；另一个是“导游”，可以看到地图，但看不到照片。然后，代理必须相互交谈，确定游客的位置，并帮助他们导航到地图上的另一个点。游客会寻找附近的地标，如餐馆、酒吧和咖啡馆，导游会给他们指路。

想一想像早期幻想冒险游戏中的“谈话行走”一样，你面对着一条地牢走廊，你必须做出“向北”或“向南”或“转身”这样的选择。但是，你不是去地牢寻找宝藏，而是被困在纽约市的金融区，寻找一位名叫“剪狗”的理发师。

FAIR的研究人员说，他们还没有能够创造出能够解决这个问题的人工智能代理(为什么？”因为它太硬了！”但他们预计团队将在未来几年内开始建造机器人，以更好地引导虚拟游客。FAIR已经为一个称为“本地化”的子任务建立了基线结果，这意味着让游客AI向导游AI传达他们在地图上的位置。

整个“走路谈话”任务具有挑战性，因为它结合了人工智能感知和语言的许多不同元素。特工需要能够识别周围环境，传递信息，然后与世界互动。”最终目标是让人工智能助手更好地了解人类，因为他们更了解世界，”基拉说这一点适用于Facebook和世界上任何一家公司。”