openai最先進的機器視覺ai被手寫的筆記愚弄了

來自機器學習實驗室OpenAI的研究人員發現，他們最先進的計算機視覺系統可以被比鋼筆和筆記本更復雜的工具所欺騙。如上圖所示，簡單地寫下一個物件的名稱並貼上在另一個物件上就足以誘使軟體誤認它看到的內容。...

來自機器學習實驗室OpenAI的研究人員發現，他們最先進的計算機視覺系統可以被比鋼筆和筆記本更復雜的工具所欺騙。如上圖所示，簡單地寫下一個物件的名稱並貼上在另一個物件上就足以誘使軟體誤認它看到的內容。

“我們將這些攻擊稱為排版攻擊，”OpenAI的研究人員在部落格中寫道。他們指出，這種攻擊類似於欺騙商業機器視覺系統的“敵對影象”，但**起來要簡單得多。

對抗性影象對於依賴機器視覺的系統來說是一個真正的危險。例如，研究人員已經證明，只要在路上貼上某些標籤，他們就可以欺騙特斯拉自動駕駛汽車中的軟體在沒有警告的情況下改變車道。這種攻擊對從醫療到軍事的各種人工智慧應用都是一種嚴重的威脅。

但至少在目前，這種特定攻擊所帶來的危險是不需要擔心的。討論中的OpenAI軟體是一個名為CLIP的實驗系統，沒有部署在任何商業產品中。事實上，CLIP不尋常的機器學習體系結構的本質造成了這種攻擊成功的弱點。

CLIP旨在探索人工智慧系統如何在沒有密切監督的情況下，透過對龐大的影象和文字對資料庫進行訓練，學會識別物件。在這個案例中，OpenAI使用了從網際網路上刮下來的大約4億個影象-文字對來**訓練剪輯，這個剪輯於今年1月釋出。

本月，OpenAI的研究人員發表了一篇新的論文，描述了他們是如何開啟剪輯來檢視它的效能的。他們發現了他們稱之為“多模態神經元”的東西——機器學習網路中的單個元件，它們不僅對物體的影象做出反應，還對草圖、卡通和相關文字做出反應。令人興奮的原因之一是，它似乎反映了人腦對**的反應，人們觀察到單個腦細胞對抽象概念而不是具體例子作出反應。OpenAI的研究表明，人工智慧系統有可能像人類一樣將這些知識內化。

在未來，這可能會導致更復雜的視覺系統，但目前，這種方法還處於起步階段。儘管任何人都能告訴你蘋果和一張寫著“蘋果”字樣的紙之間的區別，但像CLIP這樣的軟體卻不能。同樣的能力，讓程式在抽象的層次上鍊接文字和影象，造成了這種獨特的弱點，OpenAI稱之為“抽象謬誤”

實驗室給出的另一個例子是識別存錢罐的片段中的神經元。這個元件不僅響應小豬存錢罐的圖片，還響應一串美元符號。在上面的例子中，這意味著如果你用“$$$”字串覆蓋一個鏈鋸，你可以欺騙CLIP把它識別為一個存錢罐，就像它在你當地的硬體商店是半價一樣。

研究人員還發現，CLIP的多模態神經元編碼的正是你從網際網路上獲取資料時可能會發現的那種偏見。他們注意到“中東”的神經元也與恐怖主義有關，並發現了“一個為黑面板人和大猩猩都開火的神經元”。這複製了谷歌影象識別系統中一個臭名昭著的錯誤，該系統將黑人標記為大猩猩。這又是一個例子，說明了機器智慧和人類智慧有多麼不同，為什麼在我們把自己的生命託付給人工智慧之前，必須先把機器智慧分開來理解它的工作原理。