自然語言處理的應用前景

雲栖号資訊：【 點選檢視更多行業資訊

】

在這裡您可以找到不同行業的第一手的上雲資訊，還在等什麼，快來！

自然語言處理(NLP)的定義

自然語言處理(NLP)是人工智能技術的一個分支，它使計算機能夠像人們一樣了解、處理和生成語言，并且在商業中的應用正在迅速增長。

雖然自然語言處理(NLP)這一術語最初指的是人工智能系統的閱讀能力，但它後來成為所有計算語言學的一種通俗說法。其子類别包括自然語言生成(NLG)(計算機自行建立通信的能力)和自然語言了解(NLU)(了解俚語、錯誤發音、拼寫錯誤以及其他語言變體的能力)。

自然語言處理(NLP)的工作原理

自然語言處理通過機器學習(ML)進行。機器學習系統像其他任何形式的資料一樣存儲單詞及其組合方式。将短語、句子，有時甚至整本書的内容都輸入機器學習引擎，并根據文法規則和人們的現實語言習慣(或兩者兼而有之)進行處理。然後，計算機使用這些資料來查找模式并推斷出下一步的工作。以翻譯軟體為例：在法語中，“我要去公園”是“Je vais au parc”，是以機器學習預測“我要去商店”也将以“Je vais au”開頭。

自然語言處理應用

機器翻譯是更好的自然語言處理(NLP)應用程式之一，但它并不是最常用的一種。人們每次在Google或Bing搜尋引擎中查找内容時，都将資料輸入到系統中。當單擊搜尋結果時，搜尋引索會将其視為對找到的結果正确的确認，并在以後使用這個資訊更好地進行搜尋。

聊天機器人的工作方式與其相同：它們與Slack、Microsoft Messenger和其他聊天程式內建在一起，可以在其中讀取人們所說的語言，然後在說出觸發詞語時将其打開。當Siri和Alexa等語音助手聽到“Hey，Alexa”之類的短語時，它們就會進行響應。這就是批評者指責這些程式一直在監聽的原因：如果不是，它們永遠不會知道人們何時需要它們。除非人們自己打開應用程式，否則自然語言處理程式将在背景運作，等待短語的出現。

自然語言處理(NLP)對人們的利大于弊。人們可以想象一下沒有谷歌搜尋或者拼寫檢查程式的生活。它使用自然語言處理(NLP)将輸入的單詞與字典中的單詞進行比較。通過比較這兩個資料集，拼寫檢查程式可以找出問題并提供建議。

自然語言處理(NLP)示例

搜尋引擎和拼寫檢查的應用如今非常普遍，人們經常将它們視為一種理所當然的技術，尤其是在自然語言處理(NLP)可以顯著提高生産力的工作中。例如如果想知道還剩下多少假期?不必詢問人力資源部門。可以采用聊天機器人Talla節省時間，它會搜尋企業政策以尋找答案。打電話聯系客戶需要翻看手機所存的電話号碼?可以采用語音提示，通過聲音搜尋啟動SecondMind，将會給出所需的号碼。這種內建的搜尋工具可以加快員工與客戶的溝通。

自然語言處理還可以幫助招聘者對履歷進行分類，吸引各種應聘者并雇用更多合格的員工。對垃圾郵件進行檢測可以使用自然語言處理(NLP)，以阻止垃圾電子郵件進入人們的收件箱;此外，可以采用Outlook和Gmail等程式将某些人的郵件分類到建立的檔案夾中。

諸如情緒分析之類的工具可幫助企業快速識别推文内容的好壞，進而可以了解客戶的顧慮。情感分析不僅可以處理社交媒體上的文字，還可以分解詞語出現的語境。對于分析機構Periscopic公司的資料可視化工具SkyeMorét來說，隻有30%的英語單詞是正面的，其餘的是中性或負面的。是以，自然語言處理(NLP)可以幫助企業更全面地了解一個文章：在這些中性詞彙背後，消費者表達的情感是什麼?

傳統上，企業使用自然語言處理将回報分為積極和消極兩類。但是Fleishman Hillard公司社會和創新業務的進階副總裁Ryan Smith表示，當今的自然語言處理工具可以識别更精确的情緒，例如悲傷、憤怒和恐懼。

自然語言處理(NLP)軟體

無論人們是要建構聊天機器人、語音助手、預測文本應用程式，還是以自然語言處理為核心的其他應用程式，企業都将需要采用工具。根據調查，最受歡迎的自然語言處理軟體包括：

• 自然語言工具包(NLTK)。自然語言工具包(NLTK)是一個開放源代碼架構，用于建構Python程式以使用人類語言資料。它是在賓夕法尼亞大學計算機和資訊科學系開發的，為50多個語料庫和詞彙資源庫、一個文本處理庫、自然語言處理庫和論壇提供接口。自然語言工具包(NLTK)是在Apache2.0許可下提供的。
• SpaCy。SpaCy是一個開放源代碼庫，用于進階自然語言處理，專門為生産目的而非研究目的而設計。SpaCy的設計充分考慮了進階資料科學，并允許深度資料挖掘。它是由麻省理工學院授權的。
• Gensim。Gensim是一個用于自然語言處理的開源Python庫。獨立于平台的庫支援可擴充的統計語義、針對語義結構的純文字文檔分析以及檢索語義相似文檔的能力。可以在無需人工監督的情況下處理大量文本。
• Amazon Comprehend。這項Amazon服務不需要機器學習的經驗。它旨在幫助組織從電子郵件、客戶評論、社交媒體、支援通知單和其他文本中獲得見解。它使用情感分析、詞性提取和标記化來分析單詞背後的意圖。
• IBM Watson音頻分析器。這個基于雲計算的解決方案旨在用于社交監聽、聊天機器人內建和客戶服務監控。它可以分析客戶文章中的情緒和語氣，并監視客戶服務電話和聊天對話。
• 谷歌雲翻譯。這個API使用自然語言處理來檢查源文本以确定語言，然後使用神經機器翻譯将文本動态翻譯為另一種語言。這個API允許使用者将功能內建到他們自己的程式中。

自然語言處理(NLP)課程

有很多資源可用于學習建立和維護自然語言處理應用程式，其中許多是免費的資源。其中包括：

• DataCamp中的Python自然語言處理。這門免費課程提供15個視訊和51個練習檔案，涵蓋了使用Python處理自然語言的基礎知識。它涵蓋了如何識别和分隔單詞，如何在文本中提取主題，以及如何建構自己的虛假新聞分類器。
• Udemy的自然語言處理(NLP)。這個入門課程提供使用Python和自然語言工具包處理和分析文本的實踐經驗。它包括三個小時的點播視訊，三篇文章和16個可下載下傳資源。該課程費用為19.99美元，并提供結業證書。
• 使用Udemy的Python進行自然語言處理(NLP)。這個課程面向具有語言基礎程式設計經驗，了解面向對象程式設計的概念，具有基礎到中級數學知識以及矩陣運算知識的個人。它完全基于項目，并且涉及建構文本分類器以實時預測推文的情緒，以及建構文章摘要器，該文章摘要器可以擷取文章并提取摘要。該課程包括10.5小時的點播視訊和8篇文章。該課程費用為19.99美元，并提供結業證書。
• edX的自然語言處理(NLP)。由微軟公司通過edX提供的為期六周的課程概述了自然語言處理和經典機器學習方法的使用。它涵蓋了統計機器翻譯和深度語義相似性模型(DSSM)及其應用。它還涵蓋了在自然語言處理和視覺語言多模式智能中應用的深度強化學習技術。這是一門進階課程，完成該課程學習的人員隻需支付99美元即可獲得認證證書。
• Coursera公司提供的自然語言處理。本課程是Coursera公司進階機器學習專業化的一部分，涵蓋自然語言處理任務，包括情感分析、摘要、對話狀态跟蹤等。Coursera公司表示，這是一門進階課程，需要學習五個星期，每個星期需要學習四到五個小時。

自然語言處理為社會公益提供支援

除了幫助企業處理資料外，情緒分析還可以幫助人們了解社會動态。例如，Periscopic已将自然語言處理(NLP)與視覺識别結合使用，建立了特朗普表情電腦(Trump Emoticoaster)，這是一種處理語言和面部表情的資料引擎，目的是了解美國特朗普總統的情緒狀态。

類似的技術也可以防止校園槍擊事件：在哥倫比亞大學，研究人員已經處理了9000名暴力傾向的年輕人釋出的200萬條推文，并在尋找問題的答案：随着青少年越來越傾向采用暴力，那麼其語言是如何改變的?

Coursera公司項目總監Desmond Patton博士說，“有問題的内容會随着時間的推移而發展。”随着一些年輕人越來越接近危險的邊緣，他們會通過語言表達。然後，自然語言處理會标記出有問題的情緒，以便社會工作者可以進行幹預。

與Periscopic一樣，Columbia公司将情感分析與圖像識别結合使用，以提高準确性。Patton說，計算機視覺将推文上的圖檔進行分解，然後機器學習将它們與語言一起處理，以告訴“圖檔的真實情感”。這個圖像是關于悲傷的嗎?這是有關威脅的圖檔嗎?這些圖像中還發生了什麼，可以幫助人們更好地了解?”除校園槍擊事件之外，哥倫比亞計劃還希望采用這種技術防止團夥暴力。

自然語言處理(NLP)以提高個人水準

自然語言處理(NLP)還可以幫助人們監控自己的情緒狀态。Woebot是一種電子治療師，可通過Facebook Messenger聊天機器人或獨立應用程式與使用者聯系。不過，目前還沒有進階的情感分析技術，Woebot實際上隻能跟蹤那些抑郁和焦慮，可能表明使用者面臨緊急情況的詞彙。

【雲栖号線上課堂】每天都有産品技術專家分享！

課程位址：

https://yqh.aliyun.com/live

立即加入社群，與專家面對面，及時了解課程最新動态！

【雲栖号線上課堂 社群】

https://c.tb.cn/F3.Z8gvnK

原文釋出時間：2020-04-24

作者：Terena Bell

本文來自：“

51CTO

”，了解相關資訊可以關注“

”