facebook正在分發它用來理解照片中物體的軟體

Facebook正在公開採購一套計算機視覺軟體工具，可以識別照片中物體的種類和形狀。這些工具由Facebook人工智慧研究（FAIR）團隊開發，被稱為DeepMask、SharpMask和MultiPathNet，這三種工具協同工作，幫助分解影象的內容並將其上下文化。這些技術雖然目前還沒有在Facebook消費類產品中得到積極應用，但與該公司用於向盲人使用者描述照片的軟體類似，該公司稱之為“自動替代...

DeepMask和SharpMask是更多的實驗性研究專案，專註於FAIR團隊所稱的細分。雖然人類能在幾秒鐘內分辨出照片中的各種元素，但這一過程對計算機來說要困難得多，因為計算機將畫素視為一系列與顏色變化相對應的數值。要幫助軟體理解影象的背景在哪裡成為主題，或者前景的哪些部分可以分解成不同的物件，並不容易。讓計算機正確識別物體也很困難。

透過機器學習，一種廣泛使用的人工智慧訓練技術，Facebook能夠教演算法如何執行傳統的人類認知任務，方法是向所謂的神經網路提供大量資料。這些集合基本上是數以百萬計的例子，從中這些神經網路可以發展對現實世界物體和環境特徵的理解。換言之，向演算法展示足夠多的綿羊圖片，告訴演算法它看到的是一隻綿羊，然後它就會開始自己識別照片中的動物。

DeepMask用於分割照片中的不同物件

神經網路識別這些物體的過程稱為分割，它向計算機詢問一系列關於影象的是/否問題，試圖對影象內容進行分類。這就是DeepMask的作用，而SharpMask用於最佳化物件的選擇以獲得更好的準確性。

“DeepMask對特定的物體型別一無所知，所以雖然它能同時描繪出狗和羊，但卻無法區分它們，”FAIR research科學家Piotr Dollar在一篇技術論文中寫道。為此，該團隊依靠MultiPathNet以及Ross Girshick開發的基礎物件識別技術，Ross Girshick曾是微軟研究院（Microsoft Research）的成員，現任FAIR Research科學家。MultiPathNet有效地區分物件並對其進行分類。

FAIR看到了這種型別的影象和物件識別的廣泛應用。除了顯而易見的用例之外，比如讓你搜索影象而不必標記它，這種型別的人工智慧對殘疾人非常有用。”Dollar寫道：“我們的目標是實現更沉浸式的體驗，讓使用者透過手指在影象上滑動，讓系統描述他們正在觸控的內容，從而“看到”一張照片。”。

那麼Facebook為什麼要免費贈送這項技術呢？”“我們將我們的程式碼開源，並將我們的發現以學術論文的形式釋出，這些學術論文可以從開放訪問網站免費獲得，我們希望鼓勵其他人更容易地分享技術和技術，”Facebook發言人對The Verge說我們希望其他人能夠與我們合作，改進我們的工具和技術。”

Facebook和谷歌正在競相開發更智慧的人工智慧

然而，同樣重要的是要記住，這項研究的大部分也是由微軟（Microsoft）和谷歌（Google）等公司進行的。後者使用人工智慧支援的影象識別技術，當你在谷歌照片中搜索“海灘”時，會將你度假的照片浮出水面，還使用自然語言處理技術，預寫電子郵件回覆並自動完成搜尋請求。谷歌也開放了一些技術，比如TensorFlow人工智慧培訓軟體。因此，Facebook很可能感到了向研究界貢獻力量的壓力，希望其構建和訓練人工智慧的方法和工具不會被其他人取代。

展望未來，FAIR希望解決識別影片中發生了什麼的挑戰，考慮到幀中物件的運動和互動，這是一項更困難的任務。這條以影片為中心的道路對於Facebook來說是一條不需要大腦的道路。執行長馬克•扎克伯格（markzuckerberg）認為，在虛擬現實（virtualreality）和更強大的人工智慧（AI）真正起飛之前，媒體形式將是未來五年社交網路的最大機遇。到目前為止，我們已經看到Facebook在去年將其網站和移動應用程式轉變為使用者和新聞機構的預錄影片和直播影片的首映目的地。下一步是從這些影片中汲取真知灼見，就像Facebook今天處理照片的做法一樣。

Dollar解釋說：“我們已經在計算機視覺技術上取得了一些進展，可以觀看影片，並實時瞭解和分類影片中的內容，例如，貓或食物。”實時分類可以幫助Facebook上的相關和重要的實時影片浮出水面，而應用更精細的技術來檢測時空中的場景、物體和動作，有朝一日可以實現實時敘述。”