深度學習能幫助解決脣讀嗎？

脣讀是一件棘手的事情。測試結果各不相同，但平均而言，大多數人在看別人的嘴脣時，只會認出十分之一的單詞，自稱專家的準確率往往各不相同——當然沒有脣讀高手。不過，現在一些研究人員聲稱，像深度學習這樣的人工智慧技術可以幫助解決這個問題。畢竟，專註於處理大量資料以找到共同模式的人工智慧方法有助於將音訊語音識別的準確度提高到接近人類的水平，那麼為什麼不能對脣讀進行同樣的處理呢？...

比人類精確得多，但使用的資料非常有限

牛津大學人工智慧實驗室的研究人員在這一領域做出了很有前途的貢獻，他們利用深度學習建立了一個新的脣讀程式。他們的軟體名為LipNet，能夠在很大程度上超過有經驗的脣部閱讀器，在某些測試中達到93.4%的準確率，而人類脣部閱讀器的準確率為52.3%。即使在目前的早期階段，該軟體也非常快速——幾乎實時地將無聲影片處理成文字記錄。

然而，在我們沉迷於2001年的“人工智慧監控州”和“哈爾閱讀嘴脣：太空奧德賽”的噩夢之前，牛津大學的這項研究有一些嚴重的侷限性。首先，該系統在一個名為GRID的研究資料集上進行了訓練和測試。這是一個收集了34名志願者閱讀無意義句子的上萬個短影片，以及字幕。每個片段只有3秒鐘長，每個句子都遵循以下模式：命令、顏色、介詞、字母、數字、副詞。例如，句子包括“請把藍色調成4”和“再把紅色調成C 0”，甚至這些模式中的單詞也是有限的，只使用了四種不同的命令和顏色。這使得該領域的一些研究人員認為，該論文的研究結果被誇大了，特別是在一條與研究人員影片（見下文）相關的病毒性推特發出聳人聽聞的聲稱，這項工作意味著“不再有祕密”之後

情況肯定不是這樣。這篇論文的兩位研究人員Yannis Assael和Brendan Shillingford在接受《邊緣》採訪時欣然承認，他們的研究物件是“受限的詞彙和語法”，但表示這是由於現有資料的侷限性。”資料集很小，但這很好地表明，我們可以在更大的資料集上表現得同樣出色，”Assael說。

真的，這對監視毫無幫助

阿薩爾和希林福德也都很想強調，他們的工作在監控領域沒有應用，僅僅是因為脣讀需要你看到被攝者的舌頭——這意味著影片必須筆直，光線充足，才能獲得好的效果。”這在技術上是不可能的，或者至少是非常非常困難的，”使用任何脣讀軟體進行監視，Assael說，並補充說，幀速率也是一個因素；以及一些通常被*****忽視的事情。他說：“如果你有一個非常好的攝像頭拍攝的正面影片，那麼你可能也有一個定向麥克風（指向他們）！”(關於監控問題，阿塞爾指出，儘管該報的一位主管也與谷歌的人工智慧部門DeepMind合作，但谷歌本身並未參與LipNet的開發。）

相反，這兩位研究人員認為，脣讀人工智慧可以幫助聽力障礙的人，特別是在嘈雜的環境中，計算機很難隔離語音。例如，有人戴著內建在眼鏡裡的攝像頭，可以清楚地看到他們在聚會上與之交談的人的正面畫面，LipNet的一位祖先可以實時轉錄對話，並將其輸入耳朵。”任何有語音識別和攝像頭的地方，我們都可以改進這一點。他還提到Siri或googleassistant的無聲聽寫是一個可能的用例。那麼，在未來，也許我們這些不喜歡跟電腦說話的人，不能讓他們讀我們的嘴脣。