大資料文摘自2013年成立一直緻力于普及資料文化，也彙集了一批願意奉獻的志願者翻譯團隊，作為非營利組織，我們會更加注重版權和知識産權問題，将優秀的内容高品質的翻譯并分享給更多的中國讀者。
簡介
不論是那些從事前沿研究開發，強化自然語言處理能力的人，還是那些在各自行業中越發認為自然語言處理能夠為他們帶來競争力的機構和創新者，現在投身到自然語言處理（nlp）中都絕對是令人興奮的。
到2021年，全球自然語言處理市場的價值預計會達到160億美元，是以科技巨頭們争相斥巨資投入到自然語言進行中以求分得一塊蛋糕就不足為奇了。在過去5年中，超過30家從事人工智能前沿研究的私有企業被谷歌，雅虎，英特爾，蘋果和salesforce等巨頭們争相并購。
涉足自然語言處理，文本分析和文本挖掘并不隻是大公司的專利。小公司、初創公司，甚至業餘項目都變得越來越容易涉足這些技術。
自然語言處理技術正在幫助公司規模化地将大量的非結構化資料物盡其用，同時能夠給他們提供一些見解和分析，而這些，在幾年前，他們做夢也想不到會成為現實。
現在我們将依次了解下最容易被人工智能和自然語言處理颠覆的三個行業：
1 法律業 2 保險業 3 客戶服務
法律業中的自然語言處理和文本分析
盡管我們離機器人律師還有很長一段路要走，現在具有創新意識的法律專業人士已經開始利用自然語言處理、文本挖掘和文本分析技術來發現經常隐藏在大量資料中的關鍵點，或者看起來不相關，但經過規模化分析後有價值的關鍵點，以及發現戰略增長和經常性的案件變化的趨勢，進而幫助他們在更快的時間内做出更明智的決策。
我們來介紹兩個例子，看看法律專業人士是如何利用自然語言處理和文本分析技術的。
電子資料展示（ediscovery）中的資訊檢索
合同管理
條款摘要
電子資料展示中的資訊檢索
電子資料展示表示在資訊類型是電子版的法律訴訟過程中發現查找資料，例如起訴，政府調查，資訊自由法請求等過程。電子版檔案經常搭配難以在紙質版檔案中發現的中繼資料，例如檔案紀錄、分享的日期和時間等。像這種分鐘級别的細節在法律訴訟過程中很重要。
就自然語言處理而言，電子資料展示主要是關于資訊檢索，幫助法律團隊尋找相關和有用的檔案。
在很多案件中，需要分析的資料量能超過100gb，經常隻有5%到10%是真正相關的。要想篩選和減少資料量，外包服務機構每處理1gb資料要收費1千美元，你能看到成本會以多快的速度飛漲。
通過提取特定主體（人，地點，金額等）來涵蓋或剔除特定時間表，在電子郵件線程中隻收錄包含公司、人和被告的郵件，資料可以被篩選和分離。
自然語言處理使得合同管理部門能夠提取諸如金額和日期等關鍵資訊，去總結合同中的條款來形成報告，還可以出于風險評估，預算和計劃的目的去比較所有條款。
在知識産權相關的争端案件中，律師正在利用自然語言處理和文本挖掘技術從專利和公共法庭記錄等原檔案中提取關鍵資訊，去幫助他們指明案件中的方向。
衆所周知，法律檔案如果要完整地閱讀會又長又沉悶。有時其實隻需要一個對全部文本的概括，來幫助法律人士了解全部内容。利用自然語言處理技術總結這些檔案是可能的，我們可以從内容主體中標明固定數量的句子來生成一個摘要，例如提取最能反映檔案内容的5個句子形成一個摘要。
nlp和文本分析在保險業的應用
保險從業者每天會從不同的管道收集大量的資料，例如網站、線上聊天、電子郵件、社交網絡、經紀人或客戶代表手中。這些資料不僅來源于不同管道，更與許多的方面都有關系，例如主張、抱怨、政策、健康報告、事故報告、客戶和潛在客戶在社交媒體上的互動、電子郵件、線上聊天、電話……這個清單可以很長很長。
折磨保險業最大的問題就是騙保。讓我們來看看nlp、資料挖掘和文本分析技術是如何幫助保險業從業者來解決這些關鍵因素的。
将資料流精簡導向正确的部門/代理 通過回報及時準确的資料來改善代理的決策 改善sla響應時間和整體的客戶體驗 協助檢測騙保的聲明和活動
精簡資料流
海量的資料和資訊每天都會彙集到保險公司，并且需要被精密地管理、儲存、分析并及時地表現出來。一封錯過的郵件或者便箋或許不僅會導緻糟糕的服務，讓客戶變得沮喪，更有可能會給公司帶來财物損失，例如，當在一個争端案件中，相關證據沒能及時傳送到正确的人或部門手上時。
自然語言處理（nlp）通過一系列自動生成并分組的請求和文檔，用于幫助保險業從業者確定在正确的時間将正确的資料能傳到正确的“眼睛”中。這已經遠遠超過了文本分析技術用于了解文本并歸類的簡單的關鍵詞比對。
欺詐檢測
《歐洲保險》最近的一份報告顯示，在歐洲，檢測和未檢測到的騙保理賠估計占了全部理賠的10%。在這裡需要注意的當然是那些沒有被檢測到的欺詐。
保險公司通過nlp和文本分析技術來從非結構化的資源中挖掘資料，例如申請、理賠表格和調停通知，進而發掘出已送出的理賠申請中高危的部分。比如說，一個典型的騙保名額就是多份理賠申請中的事故的常見描述詞彙。一個受過訓練的人眼或許不一定真的無法察覺這些情況，但是這需要大量耗費時間的練習并且容易受到檢測者主觀性的影響，效果也并不穩定。
保險業從業者的解決方案是發展nlp分析面闆來支援快速決策分析，高亮潛在的騙保行為并使他們的調查員能夠基于一定的kpi來對不同的案件做優先級上的排序。
nlp，文本分析和客戶服務
在一個越來越多關注sla、kpi和roi的世界裡，客戶支援和客戶的成功對于一個科技公司來說再重要不過了。在不斷增長的初創公司和創新公司殺入大量領域的現狀下，客戶體驗成為了市場洪流中消費者選擇的一個關鍵性因素
讓我們來看看nlp和文本分析在改善使用者體驗方面能四個選擇
聊天機器人
分析客戶/客服互動
情感分析
客戶提問自動回複
現在可以很肯定的說聊天機器人是一個非常棒的東西了！這些聊天客服開始出現在各處，因為公司期望利用前沿的人工智能技術來武裝自己。
你甚至有可能意識不到這一點，那就是你的日常偏好會被多個機器客服記錄下來。網店通過他們來向我們推薦商品，回答我們的問題，生成個性化的路徑并作為虛拟助手來和我們交流。
客服和客戶之間的互動行為可以發現有趣的，可行動的見解和趨勢。許多互動是以文本的形式預設存在的，如郵件、線上聊天、回報表等，而聲音到文本的轉換技術可以用于将電話交流轉換成文本以供分析。
傾聽顧客
顧客的聲音在如今變得比過去更加重要。社交媒體就像是一個等待發掘的消費者意見的公共金礦。nlp和文本分析可以讓你分析海量的社交聊天記錄來幫助了解人們對一個具體的項目、産品、品牌甚至公司的态度。
通過分析對你的品牌的态度可以幫助你降低流失并改善客戶支援，通過發現并主動改進負面趨勢的方式。這也可以在造成太大損失之前發現問題并懸崖勒馬，同時在你做了正确的事情時得到及時回報并保持下去
當客戶回報包含了大量的負面情感時，回報給産品發展團隊可以幫助他們更有效地指導他們的努力方向。
由于客戶支援的多管道性，你更傾向于搜集不同管道的資訊來源：郵件、社交媒體、回報表、線上聊天等。對許多公司來說，回應速度是一個關鍵績效。與此同時，如何将客戶的詢問通過最短的步驟導向相關部門也是至關重要的一環。
nlp可以在沒有人工參與的情況下用于自動導向和分類客戶需求。如前所述，這不僅僅是簡單的關鍵詞比對，而是運用文本分析技術來真正“了解”内容并分類
原文釋出時間為：2016-10-21
本文來自雲栖社群合作夥伴“大資料文摘”，了解相關資訊可以關注“bigdatadigest”微信公衆号