索尼的首款人工智慧影象感測器將使各地的相機變得更加智慧

索尼宣佈了世界上第一個集成了人工智慧的影象感測器。新的IMX500感測器結合了處理能力和記憶體，允許它執行機器學習驅動的計算機視覺任務，而無需額外的硬體。索尼表示，結果將是更快、更便宜、更安全的人工智慧相機。...

索尼宣佈了世界上第一個集成了人工智慧的影象感測器。新的IMX500感測器結合了處理能力和記憶體，允許它執行機器學習驅動的計算機視覺任務，而無需額外的硬體。索尼表示，結果將是更快、更便宜、更安全的人工智慧相機。

在過去的幾年裡，從智慧**到監控攝像頭等裝置都得益於人工智慧的整合。機器學習不僅可以提高我們拍攝的照片的質量，而且可以像人類一樣理解影片，識別畫面中的人和物體。這項技術的應用非常廣泛（有時令人擔憂），從自動駕駛汽車到自動監控，無所不包。

但許多應用程式依賴於將影象和影片傳送到雲端進行分析。這可能是一個緩慢而不安全的過程，將資料暴露給駭客。在其他情況下，**商必須在裝置上安裝專門的處理核心來處理額外的計算需求，就像蘋果、谷歌和華為的新高階**一樣。

但索尼表示，其新的影象感測器提供了一個比上述兩種方法都更精簡的解決方案。

索尼負責商業和創新的副總裁馬克•漢森（markhanson）在接受《邊緣計算》（Verge）採訪時表示：“還有其他一些方法可以實現這些解決方案。”邊緣計算使用的是專用的人工智慧晶片，而不是直接連在影象感測器上。“但我不相信他們會在任何地方接近美國航運數十億美元的影象感測器的成本效益。”

索尼在影象處理市場上的巨大影響力，必將把這項技術以巨大的規模推向客戶。漢森指出，該公司擁有超過60%的市場份額，去年出貨量約為16億個感測器。索尼的客戶中包括蘋果公司，該公司在iPhone系列中使用了該公司的感測器。

不過，這種第一代人工智慧影象感測器不太可能最終應用於智慧**和平板電腦等消費類裝置，至少從一開始是這樣。相反，索尼將瞄準零售商和工業客戶，他們開始更廣泛地使用計算機視覺技術。

漢森引用亞馬遜的無現金Go商店作為例子。在亞馬遜的Go商店裡，零售商使用大量的人工智慧攝像頭來追蹤購物者，併為他們從貨架上搶走的物品收費。漢森說：“他們每天透過一個小小的便利分數，放上數百個攝像頭，執行數PB的資料。“但如果我們能將這種能力小型化，並把它放在晶片背面，我們就能做各種有趣的事情。”

報告顯示，由此產生的硬體成本減緩了亞馬遜商店的推出，儘管索尼的IMX500感測器還不能處理這種功能所需的大量資料負載。相反，他們可以執行更簡單的任務，比如繪製任何給定商店周圍的客戶流。

除了節省成本，還有隱私方面的好處。如果AI晶片直接貼在影象感測器的背面，則可以在裝置上進行目標檢測。影象感測器本身執行任何必要的人工智慧分析，而只是生成元資料，而不是將要分析的資料傳送到雲端或附近的處理器。

因此，如果你想建立一個智慧攝像頭，檢測是否有人戴著口罩（現在是一個非常現實的問題），那麼IMX500影象感測器可以載入相關的演算法，允許攝像頭髮出快速的“是”或“否”ping。

漢森說：“現在我們已經消除了通常每秒60幀、4K的影片流，只剩下‘嘿，我認得這個物體’。“這可以減少資料流量，也有助於隱私。”

另一個大的應用是工業自動化，需要影象感測器來幫助所謂的合作機器人— 設計成與人類近距離工作的機器人— 打擊他們的有血有肉的同事。這裡整合的AI影象感測器的主要優點是速度。如果一個機器人發現一個人在他們不該去的地方’必須儘快停止，然後儘快處理這些資訊是最重要的。

索尼表示，IMX500在執行這類任務時比其他許多人工智慧相機要快得多，它能夠在3.1毫秒內將標準影象識別演算法（MobileNet V1）應用於單個影片幀。漢森說，相比之下，競爭對手的晶片，比如英特爾旗下的Movidius（用於谷歌的Clips相機和DJI的幻影4無人機）的晶片，可能需要幾百毫秒甚至幾秒鐘的時間來處理。

然而，最大的瓶頸是IMX500處理更復雜分析任務的能力。漢森說，現在，影象感測器只能用相當“基本”的演算法工作。這意味著，在可預見的未來，更復雜、更多樣化的任務，比如駕駛自動駕駛汽車，肯定需要專用的人工智慧硬體。相反，可以將IMX500看作一個簡單的、單一的應用程式裝置。

但這只是第一代，未來技術無疑會有所改進。現在，相機更聰明，因為它們把資料傳送到電腦。在未來，相機本身就是電腦，而且會變得更加智慧。

IMX500的測試樣品已經開始向早期客戶發貨，價格從10000元人民幣（93美元）開始。索尼預計，首批使用影象感測器的產品將於2021年第一季度到貨。

更新，美國東部時間5月16日，星期六上午6:15：本文的措辭已經更新，以澄清索尼的馬克漢森建議亞馬遜Go作為一個潛在的計算機視覺應用程式更普遍，而不是索尼的特定目標客戶。