我们最先进的犯罪预测算法可能没有我们想象的那么好。今天发表在《科学进步》上的一项研究对流行的COMPAS算法进行了研究，该算法用于评估某一被告再次犯罪的可能性，并发现该算法并不比普通人的猜测更准确。如果调查结果成立，它们将成为一般量刑算法的黑眼，表明我们可能根本没有工具准确预测被告是否会进一步犯罪。

COMPAS算法由Equivant（前身为Northpointe）开发，它检查被告的犯罪记录以及一系列其他因素，以评估他们在未来两年再次被捕的可能性。COMPAS的风险评估可以告知法官关于保释甚至判刑的决定。如果算法不准确，结果可能是对其他低风险被告判处更长的刑期，对任何受影响的人都是一个重大伤害。

在一份冗长的声明中，模棱两可对论文的准确性提出了质疑，称该作品“具有高度误导性”

ProPublica批评COMPAS存在种族偏见（一些统计学家对此提出异议），但来自达特茅斯的Hany Farid和Julia Dressel的新论文解决了一个更根本的问题：COMPAS的预测好吗？根据ProPublica的数据，Farid和Dressel发现该算法预测了大约65%的再次犯罪——这是一个较低的标准，因为大约45%的被告再次犯罪。

然而，在其声明中，Equirant辩称，它已经清除了风险评估工具的70%AUC标准。

当研究人员将COMPA与其他类型的预测进行比较时，最令人惊讶的结果出现了。Farid和Dressel通过亚马逊的Mechanical Turk平台随机招募了462名员工，并要求他们“读几句关于一个真实的人的话，预测他们将来是否会犯罪。”他们完成这项任务的报酬为1美元，如果准确率超过65%，则可获得5美元奖金。令人惊讶的是，中位数的Turker最终比COMPAS高出2分，准确率为67%。

乔治梅森大学法律教授Megan Stevenson对肯塔基的风险评估项目做了同样悲观的研究，并说她对这一发现对CAMAS有多么糟糕感到惊讶。样本量很小，因此很难确定COMPAS的缺点在进一步的测试中是否能够保持，但更糟糕的是，COMPAS与这种特殊系统处于相同的一般范围内。

史蒂文森告诉《边缘报》：“这篇论文肯定让我认为预测能力的上限比我想象的要低，而我一开始并不认为它有那么高。”

研究人员还用一种更简单的线性算法淘汰了COMPAS，该算法只考虑被告的年龄和犯罪记录。该算法的性能也超过了COMPAS，考虑到COMPAS评估中涉及的137个因素，这一发现甚至让研究人员都感到惊讶。”Farid告诉《边缘》杂志说：“我们通常希望，随着我们向分类器添加更多数据和/或增加分类器的复杂性，分类精度会提高。”我们发现情况并非如此。”

Equivant也对这一发现提出了质疑，认为小数据样本导致研究人员过度拟合了他们的算法。此外，该公司淡化了实际决定某一特定风险评估的各种因素的数量。”事实上，这137个因素中的大部分是需求因素，在COMPAS风险评估中没有用作预测因素COMPAS风险评估只有六个输入。”

风险评估分数已成为美国司法系统越来越普遍的特征，类似的产品经常用于审前拘留的决定。有争议的是，算法的具体细节往往被视为商业秘密，这使得律师很难对结果提出质疑。去年，最高**拒绝审理一个质疑COMPAS系统合法性的案件，该案件辩称，对算法保密侵犯了被告的宪法权利。

值得注意的是，这两个系统都保持着与COMPA大致相同的偏见特征，在不同种族之间保持预测均等，但误差分布不成比例，误报更可能发生在黑人被告中。

这项研究最大的弱点是数据本身。法庭记录是出了名的混乱，而这些数据仅来自某个特定县的两年，这可能会限制其预测能力。累犯研究在可靠地测量假阳性方面也面临着一个长期存在的问题，因为更长的刑期可以防止一个人在监禁期间再次犯罪。

尽管如此，研究人员预计大量的确认研究已经在进行中。”史蒂文森说：“我的猜测是，将会有大量的论文发表，试图复制或驳斥这一发现，因此我们将在未来几年了解更多。”