什麼是自然語言處理，它是如何工作的？
自然語言處理使計算機能夠把我們說的話處理成它可以執行的命令。瞭解它的基本原理，以及它如何被用來改善我們的生活。
什麼是自然語言處理(natural language processing)？
無論是Alexa、Siri、Google Assistant、Bixby還是Cortana，如今每個擁有智慧**或智慧揚聲器的人都有一個語音啟用助手。每年，這些語音助手似乎都能更好地識別和執行我們讓他們做的事情。但你有沒有想過這些助手是如何處理我們說的話的？由於自然語言處理（NLP），他們成功地做到了這一點。
歷史上，大多數軟體只能響應一組固定的特定命令。您單擊“開啟”將開啟一個檔案，或者電子表格將基於某些符號和公式名稱計算公式。一個程式使用它被編碼的程式語言進行通訊，因此當它被給予它能識別的輸入時，它將產生一個輸出。在這種情況下，單詞就像一組不同的機械槓桿，總是提供所需的輸出。
這與人類語言不同，人類語言是複雜的、非結構化的，並且基於句子結構、音調、重音、時間、標點符號和上下文有多種含義。自然語言處理是人工智慧的一個分支，它試圖在機器識別的輸入和人類語言之間架起一座橋樑。這樣當我們自然地說話或打字時，機器就會產生與我們所說的一致的輸出。
這是透過獲取大量的資料點，從人類語言的各種元素中，在實際單詞的意義之上，推匯出意義來實現的。這一過程與機器學習的概念密切相關，機器學習使計算機在獲得更多資料點的同時能夠學習更多的知識。這就是為什麼我們經常與之互動的大多數自然語言處理機器似乎隨著時間的推移變得更好的原因。
為了更好地闡明這個概念，讓我們看看NLP中用於處理語言和資訊的兩種最高階技術。
關聯：人工智慧的問題：機器在學習東西，但不能理解它們
標記化
標記化意味著將語音分解成單詞或句子。每段文字都是一個標記，這些標記是在處理您的語音時顯示的。聽起來很簡單，但實際上，這是一個棘手的過程。
假設您正在使用文字語音轉換軟體（如Google鍵盤）向朋友傳送訊息。當你的**接收到這段錄音並透過谷歌的文字語音轉換演算法進行處理時，谷歌必須將你剛才說的話拆分成代幣。這些代幣將是“見面”、“我”、“在”、“在”和“公園”。
人們在詞與詞之間有不同長度的停頓，而其他語言在詞與詞之間的停頓聽上去也不盡相同。不同語言和方言的標記化過程差別很大。
詞幹和檸檬化
詞幹分析和檸檬化都涉及到去除機器能夠識別的詞根的附加或變體的過程。這樣做的目的是使不同單詞之間的語音解釋保持一致，這些單詞的意思基本上是相同的，這使得NLP處理速度更快。
詞幹提取是一個粗糙而快速的過程，它涉及到從詞根中刪除詞綴，詞綴是附加在詞根之前或之後的詞。這就把這個詞變成了最簡單的基本形式，只需刪除字母。例如：
- “走”變成“走”
- “快”變成“快”
- “嚴重性”變成“嚴重性”
正如你所看到的，詞幹可能會產生負面影響，完全改變一個詞的意思。“Severity”和“sever”不是同一個意思，但字尾“ity”在詞幹生成過程中被刪除。
另一方面，引理化是一個更復雜的過程，它涉及到將一個詞縮減到它們的基部，稱為引理。這需要考慮單詞的上下文以及它在句子中的用法。它還包括在單詞及其引理的資料庫中查詢一個術語。例如：
- “是”變成“是”
- “操作”變成“操作”
- “嚴重”變成“嚴重”
在這個例子中，引理化成功地將術語“severity”變成了“severe”，這是它的引理形式和詞根。
nlp用例和未來
前面的例子只是開始觸及自然語言處理的表面。它包含了廣泛的實踐和使用場景，其中許多我們在日常生活中使用。以下是NLP目前使用的幾個例子：
- 預想輸入法：當你在智慧**上輸入一條資訊時，它會自動向你提示適合這個句子或你以前用過的單詞。
- 機器翻譯：廣泛使用的消費者翻譯服務，如Google Translate，將高階形式的NLP整合到語言處理和翻譯中。
- 聊天室：NLP是智慧聊天室的基礎，特別是在****中，他們可以在面對真實的人之前幫助客戶和處理他們的請求。
還有更多。NLP目前正在新聞媒體、醫療技術、工作場所管理和金融等領域開發和部署。將來我們有可能和機器人進行一次全面而複雜的對話。
如果你有興趣學習更多關於NLP的知識，在朝向資料科學部落格或斯坦福德國家語言處理小組上有很多很棒的資源，你可以檢視。
- 發表於 2021-04-02 07:29
- 閱讀 ( 47 )
- 分類：網際網路
你可能感興趣的文章
菲律賓比索(php)和python(python)的區別
...設計的解釋性高階程式語言。 目錄 1. 概述和主要區別 2. 什麼是PHP 3. 什麼是Python 4. PHP和Python的相似性 5. 並列比較——PHP與Python的表格形式 6. 摘要 什麼是菲律賓比索(php)？ PHP代表超文字前處理器。它是一種伺服器端指令碼語言...
蟒蛇2(python 2)和三(3)的區別
...ython3將在未來繼續開發更多。 目錄 1. 概述和主要區別 2. 什麼是Python 2 3. 什麼是Python 3 4. python2和python3的相似之處 5. 並列比較——Python2與3的表格形式 6. 摘要 什麼是蟒蛇2(python 2)？ Python是最流行的程式語言之一。許多公司使用Py...
r(r)和python(python)的區別
...web開發、網路、科學計算等。 目錄 1. 概述和主要區別 2. 什麼是R 3. 什麼是Python 4. R與Python的相似性 5. 並列比較——表格形式的R與Python 6. 摘要 什麼是r(r)？ R是一種程式語言和一個用於統計分析的軟體環境，用於表示圖形。使用R...
如何使用cortana輕鬆安排日曆會議
... 你的第一印象是什麼？你的會議是否使用智慧排程程式？ ...
如何透過一次搜尋找到高質量的學術論文
...來提高對研究論文的“理解”。搜尋程式藉助語義分析、自然語言處理和計算機視覺等先進技術提取重要特徵。它還透過從影象、表格和標題中提取資訊來超越文字。 ...
java與javascript：你需要知道的一切
... 什麼是java(java)？ ...
機器人如何學習閱讀和思考
...論計算機對我們的理解。我們說Google“知道”我們在搜尋什麼，或者Cortana“知道”我們在說什麼，但是“理解”是一個非常困難的概念。尤其是在電腦方面。 ...
深入研究replika：我的人工智慧朋友
...個迷人的東西，永遠不會停止有趣。請繼續閱讀，瞭解是什麼讓Replika的人工智慧如此卓越，以及它對未來的承諾。 ...
谷歌日曆在新設計中去掉了它最好的功能
...日曆設計中的設定>傳送反饋選項，讓谷歌知道你想要什麼。希望他們會聽。
幻想：我們一直在等待的智慧iphone日曆應用程式就在這裡
...Fantastic for iPhone今天在應用商店以1.99美元的價格**，但有什麼不同呢？Flexibits的人重新發明瞭我們建立活動的方式嗎？ 設計/ui iPhone的fantasy看起來很像它的Mac版哥哥，上面裝飾著一個紅色的月條，下麵是一個事件列...
