在棋盘游戏中击败人类在人工智能世界是不可能的。现在，顶尖学者和科技公司想在视频游戏上挑战我们。今天，由埃隆·马斯克（Elon Musk）和山姆·奥特曼（Sam Altman）创建的研究实验室OpenAI宣布了其最新里程碑：一支AI代理团队，能够在流行的战场游戏Dota 2中击败前1%的业余玩家。

你可能还记得，OpenAI在去年8月第一次大踏步进入Dota 2的世界，推出了一个可以在1v1比赛中击败顶级玩家的系统。然而，这种游戏类型大大减少了Dota 2的挑战。OpenAI现在已经升级了其机器人，在5v5比赛中与人类比赛，这需要更多的协调和长期规划。虽然OpenAI尚未挑战游戏中最优秀的玩家，但它将在今年晚些时候的国际Dota 2锦标赛上挑战，这是电子竞技日历上最大的年度赛事。

这类研究的动机很简单：如果我们能教人工智能系统玩电子游戏所需的技能，我们就可以用它们来解决复杂的现实世界挑战，这些挑战在某些方面类似于电子游戏——例如，管理城市的交通基础设施。

OpenAI联合创始人兼首席技术官格雷格·布罗克曼（Greg Brockman）对《边缘》（The Verge）表示：“这是一个激动人心的里程碑，因为这是一个向现实应用的过渡。”如果你有一个[问题]的模拟，并且你能以足够大的规模运行它，那么你能用它做什么就没有障碍了。”

从根本上说，电子游戏提供了棋类游戏（如国际象棋或围棋）所不具备的挑战。他们对玩家隐藏信息，这意味着人工智能无法感知整个比赛场地并计算出下一步可能的最佳动作。还有更多的信息需要处理，还有大量可能的行动。OpenAI表示，在任何时候，它的Dota 2机器人都必须在1000个不同的动作之间进行选择，同时处理20000个代表游戏中发生情况的数据点。

为了**机器人，实验室转向了一种称为强化学习的机器学习方法。这是一种看似简单的技术，可以产生复杂的行为。人工智能代理被扔进一个虚拟环境中，在那里他们自学如何通过反复试验来实现自己的目标。程序员设置了所谓的奖励功能（比如杀死敌人给机器人打分），然后让人工智能代理一次又一次地玩自己。

对于这批新的Dota机器人，自我游戏的数量是惊人的。每天，这些机器人都以加速的速度玩了180年的游戏。他们以这种速度训练了几个月。”它一开始完全是随机的，在地图上游荡。然后，几个小时后，它开始学习基本技能，”布罗克曼说。他说，如果一个人需要12000到20000小时的游戏时间才能学会成为一名职业选手，那就意味着OpenAI的代理“每天要玩100次人类一生的经验”

一方面，这证明了当代机器学习方法和最新计算机芯片处理大量数据的能力。另一方面，它提醒我们，人工智能代理从根本上来说是多么的缺乏智慧。如果人类花了数千年的时间来学习如何玩一个电子游戏，我们作为一个物种就不会有太大的进步。

尽管OpenAI的机器人现在正在玩5v5比赛，但它们仍然没有完全接触到Dota 2的复杂性。有一些限制是存在的。他们只使用115个英雄中的5个，每个英雄都有自己的游戏风格(他们的选择：亡灵磷、狙击手、毒蛇、水晶少女和巫妖。）他们决策过程中的某些元素是硬编码的，比如他们从供应商那里购买哪些物品，以及他们使用游戏内体验点升级哪些技能。游戏中其他棘手的部分被完全禁用，包括隐形、召唤和病房的放置，这些都是作为远程摄像机的物品，在高级游戏中是必不可少的(正如一位游戏指南所警告的，“如果有什么话题比其他任何话题更让新来者困惑，那就是回避。”）

OpenAI的代理也拥有你所期望的计算机的所有优势。他们的反应速度比人类快，他们从不错过任何一次点击，他们可以即时准确地访问物品清单、英雄的健康状况以及地图上物体之间的距离等数据，这些对于正确使用某些法术至关重要。这些都是人类玩家必须手动检查或凭直觉判断的信息。

所有这些似乎都是对机器人能力的控诉，但布罗克曼认为这是一种干扰。他说，在Dota2中玩平均持续45分钟的整个游戏的能力是真正让OpenAI的代理与众不同的地方。这种长期规划被认为是很难甚至不可能通过强化学习来教授的，但OpenAI的工作表明并非如此。布罗克曼说，他们成功的主要原因很简单，就是他们带来了更多的计算机能力来解决这个问题。”这实际上与规模有关，”他说。

巴斯大学的AI研究员Andreas Theodorou利用电脑游戏来研究合作，他说，关于5V5游戏的最新研究是向前迈出的一大步，尽管他指出，最重要的成就也许是OpenAI使用可视化来调试他们的代理。这些交互式可视化可以在这里看到。）“这些技术表明，一般来说，即使是强化学习和机器学习系统也是透明的，”西奥多鲁告诉《边缘》杂志。他说，这些附加组件“增加了系统的价值”，特别是用于教育目的。

Theodorou说，研究人员使用单独的奖励功能来鼓励机器人一起工作也是值得注意的。这种奖励功能被标记为“团队精神”，并在每场比赛中增加。机器人开始每一场游戏都是为了追求个人目标，比如杀戮，但随着时间的推移，它们更多地关注共同的目标。

布罗克曼说，与人类玩家不同，这意味着绝对没有“自我”参与这些机器人完全愿意为了更大的利益牺牲一条车道或抛弃一个英雄，”他告诉《边缘》为了好玩，我们让一个人来代替其中一个机器人。我们没有训练他们做任何特别的事情，但他说他觉得自己得到了很好的支持。只要他想要什么，机器人就会抓住他。”

OpenAI的机器人团队目前已经与业余和半职业球队进行了五场多场比赛，四胜一平。但他们最大的挑战将出现在今年晚些时候的国际会议上。具有完美时机和无自我的机器能与人类专业人员流畅而直观的游戏相媲美吗？在这一点上，这是任何人的游戏。