如果你想象一个机器学习研究者的生活，你可能会认为它相当迷人。你将为自动驾驶汽车编程，为科技界的大牌工作，你的软件甚至可能导致人类的灭亡。太酷了！但是，一项针对数据科学家和机器学习者的新调查显示，这些期望值需要调整，因为这些行业面临的最大挑战是一些相当平凡的事情：清理脏数据。

这来自数据科学社区Kaggle（今年早些时候被谷歌收购）进行的一项调查。该网站130万会员中，约有1.67万人回复了问卷，当被问及工作中面临的最大障碍时，最常见的答案是“数据不干净”，其次是该领域人才匮乏。

但究竟什么是脏数据，为什么会出现这样的问题？

说数据是数字经济的新油是不言而喻的，但在机器学习等领域尤其如此。现代的人工智能系统一般都是通过例子来学习的，所以如果你展示一只猫的大量图片，随着时间的推移，它就会开始识别构成“猫腻”的特征。这就是为什么像谷歌和亚马逊这样的公司能够建立如此有效的图像和语音识别平台：他们拥有大量来自用户的数据。

但是人工智能系统仍然是计算机程序，这意味着如果你在错误的时间按下错误的按钮，它们很容易崩溃。这种不灵活包括他们可以从中学习的数据。想想这些节目，就像挑剔的婴儿，他们拒绝吃，除非他们的香蕉是捣碎这样。但是，这一领域的工作人员不必准备香蕉，而是要对包含数十万条目的数据集进行梳理，追踪缺失的值并删除任何格式错误。当他们这样做时发出飞机噪音是可选的。

Kaggle创始人兼首席执行官安东尼•戈德布鲁姆（Anthony Goldbloom）在接受《the Verge over email》采访时说：“有一个笑话说，80%的数据科学在清理数据，20%的人在抱怨清理数据。”在现实中，情况确实有所不同。但是，数据清理在数据科学中所占的比例要比局外人预期的要高得多。实际上，训练模型通常只占机器学习者或数据科学家所做工作的一小部分（不到10%）

卡格尔本身就是想帮忙。该网站最出名的是它的竞争对手，在那里公司发布一个特定的数据相关挑战，然后付钱给提出最佳解决方案的人(这笔钱本身并不多，但赢钱是吸引招聘人员注意的一个好方法。）这意味着Kaggle也成为了用户可以玩转的有趣数据集的存储库。从22000篇高中作文到肺癌的CT扫描，再到一大堆鱼的照片(由一家美国环保非**组织发布，希望钓到更好的鱼。）

不过，卡格尔的调查不仅仅是数据，还包括其他有趣的小道消息。首先，对于受访者来说，硕士学位是最普遍的教育水平（其次是学士学位，然后是博士学位）。Python是最常用的编程语言，也是推荐给希望进入该领域的个人的顶级语言。同样值得注意的是，尽管人们的注意力集中在像神经网络这样的新数据工具上，但大多数实践者更经常地依赖于更古老、更不光彩的统计方法。

例如，一种被称为“逻辑回归”的分析方法是最常用的（63.5%的受访者说他们使用了这种方法），而神经网络只排在第四位（37.6%）。logistic回归作为一种数学工具的根源已有数百年的历史了，它被用来寻找任何给定数据集中某个点属于某一特定类别的概率。戈德布卢姆认为，它之所以受欢迎的原因之一是它是大学课程的支柱，并应用于各种领域。

“线性回归和逻辑回归教授给每一个修统计学相关课程的本科生，”他说包括机器学习、计量经济学、心理学、生物信息学……”戈德布鲁姆指出，作为一种数学工具，它可能“脆弱而不太强大”，但学术和行业的惯性意味着它不会很快走向任何地方。正如一位高级别的卡格尔“大师”在回答调查时指出的：“30万年后，这个世界将留下石头、蟑螂和逻辑回归。”

与此同时，神经网络最受关注，因为它们特别适合处理涉及图像、视频和音频数据的任务(也就是说，现在人工智能中发生的所有很酷的事情。）但是对于文本和数字信息，旧的方法更适合。因此，如果你打算很快进入机器学习或数据科学领域，请准备好开始清理这些电子表格。