facebook開始使用人工智慧向盲人使用者描述照片

問問Facebook成長團隊的一位成員,哪項功能在讓公司每天擁有10億使用者方面發揮了最大的作用,他們很可能會告訴你這是照片。自從2005年Facebook推出一年後,使用者就可以上傳源源不斷的圖片,這使得這個社交網路在全球受眾中無法抗拒。很難想象沒有照片的Facebook。然而,對於數以百萬計的盲人和視障人士來說,這已經是十多年來的現實。...

問問Facebook成長團隊的一位成員,哪項功能在讓公司每天擁有10億使用者方面發揮了最大的作用,他們很可能會告訴你這是照片。自從2005年Facebook推出一年後,使用者就可以上傳源源不斷的圖片,這使得這個社交網路在全球受眾中無法抗拒。很難想象沒有照片的Facebook。然而,對於數以百萬計的盲人和視障人士來說,這已經是十多年來的現實。

007Ys3FFgy1gq5trtv82kj34f42y3e8a

不再是了。今天,Facebook將開始自動向盲人和視障使用者描述照片內容。名為“自動替代文字”的功能是由Facebook成立5年的無障礙團隊建立的。在Facebook產品組前使用者研究員傑夫·維蘭德(Jeff Wieland)的帶領下,該團隊此前為影片建立了閉路字幕,並實施了一個選項,在Facebook iOS上增加預設字型大小,10%的Facebook使用者利用了這一功能。


用畫外音大聲朗讀照片的描述

自動alt-text現在出現在iOS上,後來出現在Android和web上,它使用機器學習識別照片中的物件。機器學習透過使用演算法進行預測來幫助建立人工智慧。例如,如果你給一個軟體顯示足夠多的狗的圖片,它就能及時地在照片中識別出狗。自動alt文字識別Facebook照片中的內容,然後使用iPhone的畫外音功能將照片的描述大聲讀給使用者聽。雖然這項技術還處於早期階段,但它可以可靠地識別交通(“汽車”、“船”、“飛機”)、自然(“雪”、“海洋”、“日落”)、體育(“籃球場”)和食品(“壽司”)等類別中的概念。這項技術還可以描述人(“嬰兒”、“微笑”、“鬍鬚”),並識別一張**。

facebook開始使用人工智慧向盲人使用者描述照片

上週,我去了位於門羅公園的Facebook無障礙實驗室,看看這項技術的實際應用。Wieland和一位失明的Facebook工程師mattking也在場。金出生時視力有限,大學時失明,自上世紀80年代以來,他一直提倡使用更方便的電腦。今天,他在一個全球資訊網聯盟中代表Facebook,負責制定網頁訪問的技術規範。

盲人上網的主要方式是透過螢幕閱讀器——一種描述螢幕上顯示的元素(一個連結、一個按鈕、一些文字等等)並使其能夠與之互動的軟體。網路經過多年的發展,對盲人更加友好。例如,你在每個Facebook帖子上看到的向下三角形,允許你隱藏帖子或將其報告為垃圾郵件,被螢幕閱讀器描述為“故事選項,摺疊彈出按鈕”,而不是一個三角形。這樣,盲人使用者就知道他們可以與之互動。

大部分的網路對於盲人來說是遙不可及的

但大部分的網路長期以來都是盲人無法接觸到的。”“你以前經常聽到檔名,你不知道它們是否可以點選,”金說那是一場盛大的複活節彩蛋狩獵,一點也不好玩。甚至當我發現這些蛋的時候,很多蛋都是照片。人們用圖片交談,而用圖片交談對我來說本來就是遙不可及的“我們不想增加很多摩擦,”金說當人們上傳一張照片時,我們可能會要求他們:“請為盲人描述一下這張照片。”這會讓人發瘋——這永遠不會在規模上奏效。”(這是Twitter解決這個問題的實際方法,儘管新增描述是可選的。)

Facebook的規模是巨大的:每天,使用者透過Facebook、Instagram、Messenger和WhatsApp上傳20億張照片。因此,無障礙團隊求助於Facebook的人工智慧部門,該部門正在開發自動識別影象的軟體。”金說:“如果看不到照片、看不懂照片內容的人能夠成為社群的一部分,從這個平臺上獲得與能看到照片的人一樣的享受和利益,我們就需要解決這個問題。”。

在一次演示中,金在Facebook上調出了一些包含照片的故事。他把螢幕設為黑色,所以我們什麼也看不見。如果你想重新思考你所知道的關於網頁設計的一切,看一個盲人上網五分鐘。通常情況下,King會讓螢幕閱讀器以難以置信的速度與他交談——現在,最輕微的音訊提示會讓他在頁面上定位,大聲閱讀Facebook上的帖子,識別連結,並顯示各種按鈕。當他在標準的macbookair上輸入命令時,手指模糊了。直到金再次開啟螢幕,我才完全不知所措,只留下了幾句描述我們在Facebook上看到的內容的話。

在Facebook上有一張照片的標題是“週日晚上揮霍”,電話裡大聲念出來的描述是“比薩餅,食物”。當金再次開啟螢幕時,有一張巨大的義大利香腸比薩餅和橄欖的照片。另一張照片的標題是“慶祝活動”,**將這張照片描述為“三個人在戶外微笑”,結果是……三個人在戶外微笑“現在我真正理解了這個故事的本質,”金說有時候一個詞能做的事情真的很神奇。”

Facebook並不是唯一一家使用機器學習來理解照片的公司;這是目前人工智慧在任何複雜程度上都能做到的幾件事之一。類似的技術支援谷歌照片和Flickr的關鍵詞搜尋。但是這項技術仍然容易出錯,數百萬個物件還沒有被解析。去年,谷歌因照片將兩名黑人標記為“大猩猩”而被迫道歉

預設情況下,如果Facebook有80%的信心知道自己在看什麼,它只會為照片建議一個標簽。但該公司告訴我,在敏感案件中,包括涉及種族的案件,在提出建議之前,需要有更高水平的信心。當Facebook不自信的時候,它根本不會給出一個描述。”在某些情況下,沒有資料比壞資料更好。

“在某些情況下,沒有資料總比壞資料好。”

這是老生常談é 對於科技公司來說,把一個專案描述為“剛剛開始”,但在這種情況下,感覺尤其真實。今天它只能在一個平臺上工作,而且只能用英語。Facebook仍有數百萬個物件無法以80%的置信度識別披薩“它知道。”但是研究小組已經在努力開發兩種新工具:識別影片中的物體,這項技術在11月份首次演示;它還稱之為“視覺問答”,這將允許使用者就圖片提問,並從Facebook的人工智慧中得到答案。例如,你可能會問照片中的人是誰,它會告訴你出現在照片中的Facebook好友的名字。

在這個階段,自動alt標簽代表了一個迷人的技術演示。但從規模上看,它們也可能代表一個增長機會——殘疾人平均不太可能使用Facebook,原因顯而易見。”“包容是非常強大的,排斥是非常痛苦的,”金說這樣做的影響就是告訴盲人,你參與全世界的社會對話的能力對我們來說非常重要。這是說作為一個人,你很重要,我們關心你。我們想把所有人都包括進來——我們會盡一切努力把所有人都包括進來。”

  • 發表於 2021-05-04 02:58
  • 閱讀 ( 32 )
  • 分類:網際網路

你可能感興趣的文章

三種神奇的方法人工智慧可以節省你的時間

...它甚至可以重新安排日程。你可以透過電子郵件、簡訊、Facebook、Twitter或Skype傳送資訊,這使它成為一個非常通用的應用程式。 ...

  • 發佈於 2021-03-17 13:47
  • 閲讀 ( 47 )

instagram現在可以向視障使用者描述照片

...有視覺障礙的人更容易接觸到自己。第一種是依靠Instagram使用者新增照片中內容的詳細描述。第二種是用人工智慧來描述照片中的內容。 ...

  • 發佈於 2021-03-22 14:04
  • 閲讀 ( 48 )

facebook改進了針對視障使用者的人工智慧影象描述

...準。希望其他平臺也能實現類似的工具,因為這將對視障使用者有巨大的幫助。 ...

  • 發佈於 2021-03-28 02:11
  • 閲讀 ( 51 )

6款ai應用,將提升你的生活質量

... 視覺AI應用程式利用AI的力量幫助盲人和低視力使用者。在應用程式的底部,每個按鈕有六個不同的功能。預設功能是短文字,當它出現在您的相機前時,它會立即讀取少量文字。同時,本文對長篇文字進行了分析並進...

  • 發佈於 2021-03-28 10:31
  • 閲讀 ( 60 )

facebook的下一個大型人工智慧專案是在使用者的公共影片上訓練機器

...措,希望能讓它在這項重要的工作中佔據優勢:在Facebook使用者的公共影片上訓練人工智慧。 獲取培訓資料是人工智慧最大的競爭優勢之一,透過從數以百萬計的使用者那裡收集這些資源,Facebook、谷歌和亞馬遜等科...

  • 發佈於 2021-04-16 02:30
  • 閲讀 ( 43 )

微軟新的影象標題人工智慧將有助於在word、outlook和其他應用程式中實現易訪問性

...WhatsApp等訊息傳遞應用程式。 微軟沒有透露“看見AI”的使用者數量,但Azure AI公司副總裁埃裡克·博伊德(Eric Boyd)告訴《邊緣》雜誌,該軟體是“盲人或低視力人群的領先應用程式之一。”看見AI連續三年被AppleVis評為“最佳...

  • 發佈於 2021-04-17 14:17
  • 閲讀 ( 41 )

facebook是如何利用人工智慧來打擊covid-19錯誤資訊和發現“可恨的模因”的

...配技術應用於尋找**和自傷的帖子,提高了Instagram內容在使用者報告之前被刪除的百分比。 2019年最後一個季度,Facebook刪除了500萬條內容,**和自傷執法力度也有所擴大— 是前幾個月的兩倍。一位發言人說,這一激增源於Facebook...

  • 發佈於 2021-04-19 07:34
  • 閲讀 ( 50 )

facebook的新人工智慧工具將自動識別你出售的物品

...分,該公司建議未來的Facebook“AI時尚設計師”可以根據使用者的衣櫥和日常建議,為使用者提供個性化的購物建議,以適應天氣和日程安排。 “自從我看了電影《無能》後,我就一直想打造這樣的東西,”Facebook研究科學家塔...

  • 發佈於 2021-04-19 12:56
  • 閲讀 ( 36 )

facebook正在開放一些人工智慧研究成果供公眾使用

...人工智慧研究已經成為一種技術軍備競賽,谷歌、微軟和Facebook都各自運營著昂貴的尖端實驗室。但今天,Facebook的人工智慧研究實驗室(簡稱FAIR)正在釋出最佳化某種機器學習軟體的新程式碼。根據Facebook的研究,新的程式可...

  • 發佈於 2021-04-28 16:45
  • 閲讀 ( 40 )

facebook類似siri的個人助理叫做m,它位於messenger中

...一步。據《連線》報道,舊金山灣區的“幾百”個Facebook使用者將被邀請參加M。為了防止出現自動錯誤,Facebook自己的一個名為M Trainers的承包商團隊負責推送M最強大的功能,並預訂實際預訂、購買產品等。
 但是人工智慧的...

  • 發佈於 2021-05-01 04:53
  • 閲讀 ( 33 )
ldvdpnn
ldvdpnn

0 篇文章

作家榜

  1. admin 0 文章
  2. 孫小欽 0 文章
  3. JVhby0 0 文章
  4. fvpvzrr 0 文章
  5. 0sus8kksc 0 文章
  6. zsfn1903 0 文章
  7. w91395898 0 文章
  8. SuperQueen123 0 文章

相關推薦