大資料應用的四個正常錯誤認識

有關資料和資料分析的高談闊論比比皆是。不斷有人告誡各大公司要規劃恰當戰略來收集分析大資料，并警告不這麼做可能帶來的不良後果。很多公司都覺得自己享有客戶資料這樣一個大寶藏，卻大都不知道該如何利用。我們歸納了管理者在資料應用上的四個正常錯誤認識。

　　錯誤一：沒有了解融合的概念

阻礙大資料發揮價值的第一大挑戰就是相容性和融合性。大資料的一個主要特點是其來源多樣。然而，如果資料形式不相同，或難以整合，則其來源的多樣性将使公司難以削減開支，也無法為客戶創造價值。例如，在我們和一個合作項目中，該公司擁有豐富的資料，記錄客戶的交易量和忠誠度，以及專門的線上浏覽行為資料，但是鮮少交叉檢索這兩類資料來判斷某種浏覽行為即為交易達成的前兆。面對這種挑戰，公司建立了“資料湖”來容納大量非結構性資料。但是，這些公司能夠加以利用的資料目前都顯得雜亂無章，隻不過是一些以文本，也就是說，當這些資料隻是普通的二進制數字時，要将它們井然有序地存儲起來非常困難。要将來源不同的它們整合起來更是難上加難。

錯誤二：沒有認識到非結構化資料的局限性

阻礙大資料發揮價值的第二大挑戰是其非結構化的特性。對文本資料的挖掘已經有了特别的進展，其語境和技術所帶來的認識與結構化資料類似，隻是其它形式的資料如視訊仍不易于分析。舉個例子，雖然擁有最先進的人臉識别軟體，有關當局仍然無法從大量視訊中識别出波士頓馬拉松爆炸案中的兩名嫌疑人，因為該軟體尚在處理從不同角度拍攝的嫌疑人的照片。

雖然從非結構性資料擷取資訊面臨挑戰，但是各公司在利用這些資料初步提升分析已有資料的速度和精确度上取得了顯著成績。比如，在石油和天然氣勘探中，人們就用大資料來優化正在進行的操作，以及針對地震鑽井的資料分析。盡管他們所使用的資料在速度、種類和體積上都有可能增加，最終這些資料還是用于同一個目的。總之，一開始就希望通過利用非結構性資料形成新的研究假設是站不住腳的，除非各公司通過“實踐”有了這種專業能力，能利用非結構性資料優化某個問題答案。

錯誤三：以為關聯分析意義重大

第三大挑戰——我們認為是阻礙大資料價值的最重要的影響因素——是觀測資料的大量重疊使其因果關系難以明确。大規模資料集往往包含衆多相似或完全一緻的資訊，直接導緻錯誤的關聯分析，誤導管理者的決策。近日《經濟學人》指出“在大資料時代，互相關系往往是自己浮現出來的”，《斯隆管理評論》在部落格中強調雖然很多公司都能接觸到大資料，但是這些資料并不“客觀”，因為問題在于要從中提煉出值得采取行動的資訊。同樣，典型的用于分析資料的機器學習算法所進行的關聯分析并不一定會提供原因分析，因而不會給出可執行的管理意見。也就是說，讓大資料有利可圖的技巧在于能夠從僅僅觀測到互相關系轉變為正确鑒别何種關聯為因果形式，可以作為戰略舉措的基礎。要做到這一點就必須超越大資料。

谷歌趨勢是大資料的經典範例，它利用谷歌搜尋詞條整合記錄。然而，它也說明了僅僅用于關聯分析的資料是毫無意義的。起初，研究人員稱資料可以用于反映流感的傳播。然而後來，研究人員發現因為資料展現的是過去，使用這些資料隻能在現狀與過去模式相關的情況下，稍微改善應對行為。

舉個更具體的例子，假設一個鞋業銷售商向曾浏覽其網站的消費者投放廣告。原始資料分析認為消費者看到這些廣告會更願意購買鞋子。可是，這些消費者在看到廣告之前就已經對該銷售商表現出了興趣，因而比普通人更願意進行交易。這個廣告有效嗎?很難說。實際上，這裡的大資料并沒有考慮營銷傳播有效性的因果推論。要知道該廣告是否有效，銷售商需要進行随機檢測或試驗，選取一部分消費者不接觸這個廣告。通過比較看了廣告和沒看廣告的消費者之間的購買率，公司才能确定是否看到廣告能讓消費者更願意消費。這個案例中，價值主要不是通過資料創造的，而是通過設計、執行以及闡釋重要的試驗來創造的。

這是個試驗，不是分析觀測到的大資料集來幫助公司了解一段聯系到底是僅僅相關還是因為反應潛在的因果關系而變得可以賴以作出判斷。雖然對于管理者來說，哪怕僅利用記錄消費者行為一拍位元組的資料來提升效益都很困難，但是比較參與了營銷活動的客戶和沒有參與的客戶——根據試驗結果——能夠讓營銷人員推論這個活動是否有利可圖。

開展實地試驗，得出正确的結論，采取恰當的應對措施，都不是輕而易舉的事。但是成功的公司已經有能力來設計、開展重要的實地試驗，并對其結果評估，采取針對性措施。正是這種“試驗加學習”的環境，以及對其能否加以推廣的了解和認識之上采取行動的能力，才讓大資料有價值。

隻是，由于越來越多的資料樣本收益遞減，這樣的試驗并不一定需要大資料。比如：谷歌透露說其往往用有效資料的0.1%中的随機樣本來進行資料分析。确實，近日刊登的一篇文章顯示大資料的大實際上是不利的，因為“資料庫越大，就越容易支援你提出的假設。”換句話說，因為大資料提供重疊的資訊，公司能從整個資料集，也能從其千分之一的資料集中擷取同樣的資訊。

錯誤四：低估了勞動力技術需求

開展試驗不是公司從大資料推測有價值資訊的唯一途徑。另一個可行的方法是公司可以培養算法技能，來更好的處理資料。推薦系統便是此類算法的一個範例。推薦系統通過針對關聯資料的算法向客戶推薦最相關的産品。隻是，它不是依靠背後規模龐大的資料，而是依賴識别關鍵資訊碎片來預測客戶偏好的能力。的确，往往不是資料的規模，而是計算機學習的算法來确定結果的品質。盡管預測能力可能增加可用資料的規模，但是在大多數情況中，預測的提升說明規模收益随着資料集增加而遞減不過，要建立好的算法就需要好的資料分析師。一些公司以為不用聘請員工來分析資料中的因果聯系就能将大量的資料轉化為資訊，他們可能要失望了。

資料本身是沒有價值的。隻有與管理、建構和分析技能結合來，明确對其進行試驗和算法，才能對公司有用。當你把價格資訊看做是對價格資訊處理的技能時就清楚了。很多情況下，相對于資料成本，留住資料處理人才成本更高。這說明對于一個公司而言，資料處理能力比資料本身更重要。

====================================分割線================================

本文轉自d1net（轉載）