索尼宣布了世界上第一个集成了人工智能的图像传感器。新的IMX500传感器结合了处理能力和内存，允许它执行机器学习驱动的计算机视觉任务，而无需额外的硬件。索尼表示，结果将是更快、更便宜、更安全的人工智能相机。

在过去的几年里，从智能**到监控摄像头等设备都得益于人工智能的整合。机器学习不仅可以提高我们拍摄的照片的质量，而且可以像人类一样理解视频，识别画面中的人和物体。这项技术的应用非常广泛（有时令人担忧），从自动驾驶汽车到自动监控，无所不包。

但许多应用程序依赖于将图像和视频发送到云端进行分析。这可能是一个缓慢而不安全的过程，将数据暴露给黑客。在其他情况下，**商必须在设备上安装专门的处理核心来处理额外的计算需求，就像苹果、谷歌和华为的新高端**一样。

但索尼表示，其新的图像传感器提供了一个比上述两种方法都更精简的解决方案。

索尼负责商业和创新的副总裁马克•汉森（markhanson）在接受《边缘计算》（Verge）采访时表示：“还有其他一些方法可以实现这些解决方案。”边缘计算使用的是专用的人工智能芯片，而不是直接连在图像传感器上。“但我不相信他们会在任何地方接近美国航运数十亿美元的图像传感器的成本效益。”

索尼在图像处理市场上的巨大影响力，必将把这项技术以巨大的规模推向客户。汉森指出，该公司拥有超过60%的市场份额，去年出货量约为16亿个传感器。索尼的客户中包括苹果公司，该公司在iPhone系列中使用了该公司的传感器。

不过，这种第一代人工智能图像传感器不太可能最终应用于智能**和平板电脑等消费类设备，至少从一开始是这样。相反，索尼将瞄准零售商和工业客户，他们开始更广泛地使用计算机视觉技术。

汉森引用亚马逊的无现金Go商店作为例子。在亚马逊的Go商店里，零售商使用大量的人工智能摄像头来追踪购物者，并为他们从货架上抢走的物品收费。汉森说：“他们每天通过一个小小的便利分数，放上数百个摄像头，运行数PB的数据。“但如果我们能将这种能力小型化，并把它放在芯片背面，我们就能做各种有趣的事情。”

报告显示，由此产生的硬件成本减缓了亚马逊商店的推出，尽管索尼的IMX500传感器还不能处理这种功能所需的大量数据负载。相反，他们可以执行更简单的任务，比如绘制任何给定商店周围的客户流。

除了节省成本，还有隐私方面的好处。如果AI芯片直接贴在图像传感器的背面，则可以在设备上进行目标检测。图像传感器本身执行任何必要的人工智能分析，而只是生成元数据，而不是将要分析的数据发送到云端或附近的处理器。

因此，如果你想创建一个智能摄像头，检测是否有人戴着口罩（现在是一个非常现实的问题），那么IMX500图像传感器可以加载相关的算法，允许摄像头发出快速的“是”或“否”ping。

汉森说：“现在我们已经消除了通常每秒60帧、4K的视频流，只剩下‘嘿，我认得这个物体’。“这可以减少数据流量，也有助于隐私。”

另一个大的应用是工业自动化，需要图像传感器来帮助所谓的合作机器人— 设计成与人类近距离工作的机器人— 打击他们的有血有肉的同事。这里集成的AI图像传感器的主要优点是速度。如果一个机器人发现一个人在他们不该去的地方’必须尽快停止，然后尽快处理这些信息是最重要的。

索尼表示，IMX500在执行这类任务时比其他许多人工智能相机要快得多，它能够在3.1毫秒内将标准图像识别算法（MobileNet V1）应用于单个视频帧。汉森说，相比之下，竞争对手的芯片，比如英特尔旗下的Movidius（用于谷歌的Clips相机和DJI的幻影4无人机）的芯片，可能需要几百毫秒甚至几秒钟的时间来处理。

然而，最大的瓶颈是IMX500处理更复杂分析任务的能力。汉森说，现在，图像传感器只能用相当“基本”的算法工作。这意味着，在可预见的未来，更复杂、更多样化的任务，比如驾驶自动驾驶汽车，肯定需要专用的人工智能硬件。相反，可以将IMX500看作一个简单的、单一的应用程序设备。

但这只是第一代，未来技术无疑会有所改进。现在，相机更聪明，因为它们把数据传送到电脑。在未来，相机本身就是电脑，而且会变得更加智能。

IMX500的测试样品已经开始向早期客户发货，价格从10000元人民币（93美元）开始。索尼预计，首批使用图像传感器的产品将于2021年第一季度到货。

更新，美国东部时间5月16日，星期六上午6:15：本文的措辞已经更新，以澄清索尼的马克汉森建议亚马逊Go作为一个潜在的计算机视觉应用程序更普遍，而不是索尼的特定目标客户。