大資料項目為什麼失敗，2017年将有何不同

随着企業努力在數字時代完全采用資料驅動，生态系統正在發生重大轉變。由于企業應用程式生成資料成為一種趨勢和潮流，收集資料的洞察力變得越來越複雜。

此外，數十億使用者和數萬億連接配接的物聯網裝置在企業外部産生指數級更多的資料。企業部署雲計算，移動和分析技術，希望将這些資料轉化為洞察力。然而根據調配機構gartner預測，2017年将有60％的大資料項目失敗。他們不會超越試驗階段，最終将會放棄。

企業在将資料資産連結到戰略價值之間發生了什麼脫節？根據專家的經驗，主要是有從業人員缺乏技能或專業知識，以及技術戰略與整體公司需求之間的不比對這兩個主要障礙。

專業知識的差距

當大資料處于起步階段時，當時可用的技術并不成熟。谷歌，雅虎和facebook等擁有非常深厚技術底蘊的企業不得不從根本上建立基礎設施來處理這些問題。由于這些公司取得了成功，許多企業試圖用他們自己的基于hadoop的大資料項目來效仿他們。

從那裡，it和資料專業人員對hadoop作為一個技術工具包可能做什麼，以及對産生結果需要多少精力和資源有着不當的期望。gartner公司的一項調查發現，49％的受訪者引用“确定如何從hadoop擷取價值”作為是否采納的關鍵抑制因素。大多數企業缺乏部署這種技術的技能。而具有諷刺意味的是，他們不需要這樣的規模。

大資料已經變得過于依賴于技術。許多大資料項目失敗，是因為它們需要大量的前期資源，并且部署剛性架構，一旦項目進行之後，卻沒有提高靈活性。

一個成功的大資料項目是從對想要解決的業務問題和想要獲得的價值的深刻了解開始的。如果沒有，無論企業達到什麼目标，項目将無法達到預期或提供足夠的投資回報率，可能會失敗或取消。

下一個關鍵要素是建立一個團隊，将it，資料科學和業務線的視角結合在一起。業務專家可以通過資料計劃确定需要解決的主要業務挑戰。it專家可以提供通路資料的技能，并精确定位執行項目所需的适當基礎設施。最後，資料專家可以提供分析和提取洞察所需的數學和定量技能。這對于圍繞這些技能建立團隊的項目的成功至關重要。

第三個元素是短時間值（ttv）。一個團隊成立越快，并産生具體和可衡量的價值，就越容易讓組織和進階管理層在這個空間繼續投資，以避免失敗或取消。

大多數基于hadoop的項目都在這三個方面失敗。項目太過專注技術工作。此外，難以找到足夠技能的人才，并且需要太多的時間和精力來建立基礎設施。最後，初始投資太高，實施時間太長，使得很難快速實驗和疊代成功。

采用更好的方法

随着企業通過大資料項目工作，我專家看到的一個趨勢是采用基于雲計算的資料倉庫和資料湖解決方案作為hadoop項目的替代品。企業已經開始進行這樣的努力，這将更容易和更快從雲計算中獲得價值，而不是在基礎設施建設上投資。正确的雲計算解決方案避免了重大的前期資本支出，提供輕松和成本有效的擴充，并以高度管理的解決方案的形式将技術負擔轉移給技術供應商。

專家建議，如果企業沒有内部的經驗和技能，可以建設在雲中，并避開廣泛和成本高昂的基礎設施。

2017年将是人們開始遠離hadoop的一年。人們将看到從大資料的魅力和理想化的概念轉變為更實用和有效的用例。人們期望半結構化資料和機器學習将繼續推動大資料的需求，并且在這些領域擁有專業知識将至關重要。對于企業來說，最終要成功，他們需要明确的商業挑戰來解決，他們必須經曆失敗早期，從小到大的過程。他們應該在過度投資不必要的架構之前探索采用雲計算。

本文轉自d1net（轉載）