Facebook正在公开采购一套计算机视觉软件工具，可以识别照片中物体的种类和形状。这些工具由Facebook人工智能研究（FAIR）团队开发，被称为DeepMask、SharpMask和MultiPathNet，这三种工具协同工作，帮助分解图像的内容并将其上下文化。这些技术虽然目前还没有在Facebook消费类产品中得到积极应用，但与该公司用于向盲人用户描述照片的软件类似，该公司称之为“自动替代文本”的功能早在今年4月推出。

DeepMask和SharpMask是更多的实验性研究项目，专注于FAIR团队所称的细分。虽然人类能在几秒钟内分辨出照片中的各种元素，但这一过程对计算机来说要困难得多，因为计算机将像素视为一系列与颜色变化相对应的数值。要帮助软件理解图像的背景在哪里成为主题，或者前景的哪些部分可以分解成不同的对象，并不容易。让计算机正确识别物体也很困难。

通过机器学习，一种广泛使用的人工智能训练技术，Facebook能够教算法如何执行传统的人类认知任务，方法是向所谓的神经网络提供大量数据。这些集合基本上是数以百万计的例子，从中这些神经网络可以发展对现实世界物体和环境特征的理解。换言之，向算法展示足够多的绵羊图片，告诉算法它看到的是一只绵羊，然后它就会开始自己识别照片中的动物。

DeepMask用于分割照片中的不同对象

神经网络识别这些物体的过程称为分割，它向计算机询问一系列关于图像的是/否问题，试图对图像内容进行分类。这就是DeepMask的作用，而SharpMask用于优化对象的选择以获得更好的准确性。

“DeepMask对特定的物体类型一无所知，所以虽然它能同时描绘出狗和羊，但却无法区分它们，”FAIR research科学家Piotr Dollar在一篇技术论文中写道。为此，该团队依靠MultiPathNet以及Ross Girshick开发的基础对象识别技术，Ross Girshick曾是微软研究院（Microsoft Research）的成员，现任FAIR Research科学家。MultiPathNet有效地区分对象并对其进行分类。

FAIR看到了这种类型的图像和对象识别的广泛应用。除了显而易见的用例之外，比如让你搜索图像而不必标记它，这种类型的人工智能对残疾人非常有用。”Dollar写道：“我们的目标是实现更沉浸式的体验，让用户通过手指在图像上滑动，让系统描述他们正在触摸的内容，从而“看到”一张照片。”。

那么Facebook为什么要免费赠送这项技术呢？”“我们将我们的代码开源，并将我们的发现以学术论文的形式发布，这些学术论文可以从开放访问网站免费获得，我们希望鼓励其他人更容易地分享技术和技术，”Facebook发言人对The Verge说我们希望其他人能够与我们合作，改进我们的工具和技术。”

Facebook和谷歌正在竞相开发更智能的人工智能

然而，同样重要的是要记住，这项研究的大部分也是由微软（Microsoft）和谷歌（Google）等公司进行的。后者使用人工智能支持的图像识别技术，当你在谷歌照片中搜索“海滩”时，会将你度假的照片浮出水面，还使用自然语言处理技术，预写电子邮件回复并自动完成搜索请求。谷歌也开放了一些技术，比如TensorFlow人工智能培训软件。因此，Facebook很可能感到了向研究界贡献力量的压力，希望其构建和训练人工智能的方法和工具不会被其他人取代。

展望未来，FAIR希望解决识别视频中发生了什么的挑战，考虑到帧中对象的运动和交互，这是一项更困难的任务。这条以视频为中心的道路对于Facebook来说是一条不需要大脑的道路。首席执行官马克•扎克伯格（markzuckerberg）认为，在虚拟现实（virtualreality）和更强大的人工智能（AI）真正起飞之前，媒体形式将是未来五年社交网络的最大机遇。到目前为止，我们已经看到Facebook在去年将其网站和移动应用程序转变为用户和新闻机构的预录视频和直播视频的首映目的地。下一步是从这些视频中汲取真知灼见，就像Facebook今天处理照片的做法一样。

Dollar解释说：“我们已经在计算机视觉技术上取得了一些进展，可以观看视频，并实时了解和分类视频中的内容，例如，猫或食物。”实时分类可以帮助Facebook上的相关和重要的实时视频浮出水面，而应用更精细的技术来检测时空中的场景、物体和动作，有朝一日可以实现实时叙述。”