微软开发了一种新的图像字幕算法，这种算法在某些有限的测试中超过了人类的精确度。该人工智能系统已被用于更新该公司为视障人士开发的助手应用程序Seeing AI，并将很快被整合到其他微软产品中，如Word、Outlook和PowerPoint。在那里，它将用于创建图像的alt文本这样的任务，这对于提高可访问性特别重要。

微软人工智能团队的软件工程经理Saqib Shaikh在一份新闻声明中说：“理想情况下，每个人都会在文档、网络和社交媒体中为所有图像添加alt文本，因为这使盲人能够访问内容并参与对话。”。“但是，唉，人们没有。所以，有几个应用程序使用图像字幕来填充丢失的alt文本。”

这些应用包括微软自己的Seing AI，该公司于2017年首次发布。视觉人工智能使用计算机视觉来描述世界，就像通过智能**摄像头为视力受损的人所看到的一样。它可以识别家庭物品，阅读和扫描文本，描述场景，甚至识别朋友。它还可以用来描述其他应用程序中的图像，包括电子邮件客户端、社交媒体应用程序和WhatsApp等消息传递应用程序。

微软没有透露“看见AI”的用户数量，但Azure AI公司副总裁埃里克·博伊德（Eric Boyd）告诉《边缘》杂志，该软件是“盲人或低视力人群的领先应用程序之一。”看见AI连续三年被AppleVis评为“最佳应用程序”或“最佳辅助应用程序”，盲人和低视力iOS用户的社区。

微软新的图像字幕算法将显著提高人工智能的视觉性能，因为它不仅能够识别物体，而且能够更精确地描述物体之间的关系。因此，该算法可以查看图片，不仅可以说图片包含哪些项目和对象（例如，“一个人，一把椅子，一个手风琴”），还可以说它们是如何相互作用的（例如，“一个人坐在椅子上演奏手风琴”）。微软表示，该算法的性能是自2015年以来使用的先前图像字幕系统的两倍。

该算法在9月份出版的一篇预印论文中描述，在名为“nocaps”的图像字幕基准上取得了有史以来的最高分数。这是一个业界领先的图像字幕计分板，尽管它有自己的限制。

nocaps基准由166000多个人工生成的字幕组成，描述了从openimages数据集中获取的15100幅图像。这些图片涵盖了一系列场景，从体育到假日快照，再到美食摄影等等。（你可以通过浏览这里的nocaps数据集或查看下面的图库来了解图像和字幕的混合情况。）对算法为这些图片创建与人类图片相匹配的字幕的能力进行了测试。

Grid View

不过，需要注意的是，nocaps基准测试只捕获了图像字幕作为一般任务复杂性的一小部分。尽管微软在一份新闻稿中声称，它的新算法“能像人们一样描述图像”，但这只适用于nocaps中包含的一小部分图像。

作为Harsh Agrawal，基准的创造者之一，阿加瓦尔告诉《电子邮件的边缘》：“在nocaps上超越人类的表现并不意味着图像字幕是一个已解决的问题。”他指出，用于评估nocaps表现的指标“只与人类偏好大致相关”，而基准本身“只涵盖了所有可能的视觉效果的一小部分”“概念。”

阿加瓦尔说：“与大多数基准一样，nocaps基准只是模型在任务中表现的粗略指标。”。“在nocaps上超过人类的表现并不意味着人工智能系统在图像理解上超过人类。”

这个问题——假设在一个特定的基准上的性能可以更普遍地推断为在底层任务上的性能——在夸大人工智能的能力时是一个常见的问题。事实上，微软过去也曾因其算法理解文字的能力而受到研究人员的批评。

尽管如此，由于人工智能，图像字幕是一项近年来有了巨大改进的任务，微软的算法无疑是最先进的。除了集成到Word、Outlook和PowerPoint中，图像字幕AI还将作为一个独立的模型通过微软的云和AI平台Azure提供。