杀人机器人来了，他们很快就来了。无论是无人驾驶无人机还是大狗式步行机，无人驾驶飞行器已经在这里，增加自主武器自然是下一步。现在的问题不是我们能不能，而是我们应该吗？

今年4月，当《特定常规武器公约》（CCW）在日内瓦开会讨论这一问题时，这个问题达到了顶点，会议结束后，一些研究人员和教授公开发表了意见。本周早些时候，政治学家迈克尔·霍洛维茨（Michael Horowitz）和保罗·沙雷（Paul Scharre）在《****》（New York Times）上敦促人们谨慎对待自主系统，而伯克利的计算机科学家斯图尔特·拉塞尔（Stuart Russell）则在《自然》（Nature）上的一篇专栏文章中鼓励人们进一步展开辩论。

这两篇文章都没有呼吁彻底禁止致命的自主武器系统（或法律），尽管纳米物理学家马克格鲁巴德（markgrubud）等其他人过去也曾这样做过。取而代之的是，这些文章建议将致命机器人作为研究的受控领域，类似于核反应堆或化学武器。批评人士说，关键的一点是保持人类对制度的自主性——本质上，是一个开车的人。这个人可以被信任去做道德上的决定，如果这些决定出了问题，他就要承担后果。更具体地说，他们熟悉《日内瓦公约》，如果违反该公约，他们可能会受到起诉。另一方面，一个致命的自主机器人将不受这种逻辑的约束。

“人类必须。。。直面战争的恐怖，而不是把它外包给机器。”

辩论的部分紧迫性在于，对许多人来说，致命机器似乎是合乎逻辑的下一步。几十年来，计算机已经接管了人类的任务，剥夺了人类在简单任务上的自主权，将其扩展到战场可以挽救士兵的生命并赋予战略优势。但法律评论家认为，参与战斗的决定——从字面上说，杀人的决定——是不同的。如果没有人类做出杀戮的决定，人们担心的是杀戮会不加区别地发生，慢慢降低使用暴力的门槛。一旦死亡通过算法发生了，保护生命的动机是什么？”人类最终必须承担道德责任，直面战争的恐怖，而不是把战争外包给机器，”夏尔和霍洛维茨告诉我们。

这是一个道德上很直观的划分界限的地方。杀戮的行为是强大的，授权机器或算法来承担它应该让我们反胃。在谈论法律时，这种不安会被简化为一个明确的决定——部署还是不部署——我们完全可以控制答案。我们从一开始就给予人类自治权，并担心将这种自治权扩展到机器。

但这场辩论中少了一些东西。***器人真的很麻烦，如果我们可以的话，我们应该阻止他们被创造和部署。让人怀疑跨越这条线是否明智是件好事。但在这种情况下，我们错过了我们已经走了多远。在今天的战争中，人类的自主性已经受到损害，也许是无可救药地受到损害，而真正可怕的机器并不是携带武器的机器。

日内瓦会议结束后几天，白宫宣布，今年早些时候，一架无人机在巴基斯坦误杀了两名人质。受害者是美国人沃伦·温斯坦和意大利人乔瓦尼·洛波尔图。他们的护照很有新闻价值，但他们远不是第一批附带伤亡者。调查新闻局估计，自2004年以来，巴基斯坦无人机空袭造成400至900名平民死亡，其中大约四分之一是儿童。

很难说是谁杀了温斯坦、罗波尔图或其他数百人，即使是在控制中心有人的情况下。奥巴马总统强调了美国无人机打击的精确性，这是他为无人机项目进行更大规模道德辩护的一部分，但无人机项目的许多结构性因素使得此类伤亡不可避免。美国****局经常使用SIM卡对目标进行地理定位，但单个目标可能有多达16张SIM卡，其中许多将被朋友和家人使用。如果没有地面支援，很难判断SIM目标攻击是达到目标，还是仅仅是同行。”“他们可能是****，”一位前无人机操作员对截获者说，描述了一次这样的袭击或者他们可能是与目标活动无关的家庭成员。”

很难称之为自治

即使情报很好，**也很容易失手。很多目标都是和家人一起旅行的，一旦团队进入一栋建筑，就很难分辨出一个温暖的身体和另一个温暖的身体。因此，创伤后应激障碍在无人机飞行员中很常见，其中一位名叫布兰登·布莱恩特（Brandon Bryant）的飞行员对1626起死亡事件负有责任，并描述自己在“神游状态”下履行职责

在某种意义上，这就是系统应该如何工作。如果你想让一个人类演员沉浸在战争的恐怖中，他会像科比一样，坐在一个被屏幕和命令包围的军事基地里。他的命令来自其他地方，通常基于元数据和算法规则来呈现可能的目标。他不能离开他的职位，直到他的巡回演出结束，然后他的位置将由其他人填补。这台机器不用他就可以运转了，而且也不乏可更换的零件。

很难称之为自治。沙雷和霍洛维茨担心把战争的恐怖外包给机器，但目前，这种恐怖外包给了像布莱恩特这样的人，他们面对战争的现实，却没有任何改变的手段。我们想让道德行为人驾驶这些武器，但我们没有给他们腾出空间。实际上，扳机的人只是机器的另一部分。

这不是部署自动杀戮机的理由，但我们应该诚实地解释为什么它们看起来如此不可避免。我们的军事系统已经是如此自动化，很容易看出致命的自主机器人将适合在哪里，而这种自动化的大部分已经发生了没有任何争论。走了这么远，我们怎么能停下来？

我们的武器塑造了我们，他们把我们塑造成了不可思议的东西。很难想象我们会如何回到过去，即使对于世界上那些未来的军事哲学家来说也是如此。”几乎所有加入《特定常规武器公约》的国家都同意需要“有意义的人类控制”来控制机器人武器的瞄准和交战决策不幸的是，‘有意义’的含义仍有待确定。”