挖掘大資料的商業價值

通常，企業裡面到處都充斥着資料。事實上各行各業的資料量均經曆了幾何級數的增長，無論是醫療衛生還是金融，抑或是零售業還是制造業。

　　在此類海量資料庫中，隐藏着無數商業秘密，也孕育着很多機遇以及潛在的成功。但将這些資訊（除了由媒體和視訊生成的非結構化資訊之外，還包括曆史資料）利用起來卻是一項令人望而生畏的工程。

　　“許多組織會累積30 年或30 年以上的交易資料，此外還有大量多媒體資料。”埃森哲咨詢公司首席技術政策官兼總經理柯蒂斯(Gary Curtis) 說，“綜合所有資訊并理出頭緒是企業在數位時代面臨的挑戰。目前很少有組織能夠充分發揮其資料的潛力。”

　　不可否認的是，這是一項艱巨的挑戰。CorporateExecutiveBoard 咨詢公司在對5,000 家公司進行了一項研究後發現，盡管對資料進行分析并獲得有效資訊的能力已成為全球各組織的頭等大事，但是真正在這方面取得顯著成績的公司并不多見。

　　根據CEB 的研究結果，僅有38% 的員工和50% 的進階經理有能力根據資料進行合理決策。在許多組織中，最大的風險來自過度分析。超過40% 的員工更願意相信分析結果而非自己的判斷力，隻有近20% 的員工會依直覺行事。

　　CEB 認為，有能力做出優秀決策的員工——“知情懷疑論者”—能夠有效地在直覺判斷力與分析結果之間取得平衡。這些人擁有強大的分析技能，并且肯傾聽他人對于分析結果的意見，同時他們也敢于發表不同意見。

　　在今天這樣一個數字驅動的大環境下，企業必須能夠制定周密計劃并且實施可行的解決方案以管理大資料。“這是無法回避的—資料涉及各行各業。”印度塔塔咨詢服務公司(Tata Consultancy Services) 的全球顧問實踐資訊管理總監維斯瓦納桑(Kalyan Viswanathan) 強調說，“大資料正在改變業務，并且創造新的風險以及機遇。明智的組織都在尋找對其進行有效利用的方式。”

　　新時代的資料管理

　　從計算機應用誕生之日起，各公司就一直在尋找對不斷增長的資料加以管理和利用的方法。包含更多資訊和更多關聯點的大資料正處在這一潮流的核心。據麥肯錫咨詢公司估計，普通大型企業目前儲存的資料量已達到200TB 。

　　各公司必須設法處理急速增長的非系統化資料，傳統資料庫或資料倉庫并不适合管理這類資料。埃森哲的柯蒂斯表示，“公在過去數年間，司資料來源的種類變得極為繁多”。

　　大資料可釋放資料背後潛藏的價值。它能讓資料更加透明，更多地被應用于日常業務；它能借助更多更廣泛的資料組給企業提供諸多洞見；它能建立更多的細分市場，以便公司制定更具針對性的營銷活動和銷售技巧；它能幫助公司彙總所有資訊，設計出本來可能會被忽略的新産品和服務。有效運用大資料的組織往往能夠獲得顯著的競争優勢，并挖掘出新的商機。

　　但是處理大資料并不等于隻是安裝一套系統，然後就能自動獲得結果。企業需要使用正确的技術和工具，制定合适的工作流程和政策，物色善于使用分析法和預測分析軟體的人才，進而打造産品和服務以滿足瞬息萬變的市場需求。

　　“大資料的處理需要企業在資料倉庫、資料整合、商業智能、資料可視化工具、商業分析法和預測模組化上大量投入。”塔塔咨詢的維斯瓦納桑如是說，“此外還需要應用運算法則進而能夠發現其中的各種規律、關聯和關系。”

　　向先驅公司學習

　　網際網路零售商和服務供應商亞馬遜(Amazon) 是在管理大資料方面處于領先的公司之一。很顯然，公司面對無窮龐大的資料量，非常需要利用這些資料去了解客戶行為，改善營運品質和成本，推出創新性的産品功能，并最終提高公司收益。

　　亞馬遜Elastic Map Reduce (EMR) 計劃的總經理西羅塔(PeterSirota) 表示，亞馬遜依靠其可擴充的環境( 包括雲資源)，隻需數分鐘或數小時（而非數天或數周）即可得出結論和答案。

　　“Amazon.com 采用多種資料源，包括來自多個應用伺服器上的非結構化或者半結構化的記錄檔案，以及來自多種資料庫系統的結構化資料，”西羅塔說。這一環境同樣也允許亞馬遜及其客戶“存儲和處理各種類型的資料，包括圖像、視訊、DNA 序列和天氣傳感器資料以及從第三方來源( 例如Twitter 、Facebook 和Salesforce) 采集的資料..以更妥善地管理産品資料庫，并且分析有助于提高營運業績的名額”。

　　這家觸角遍及全球的線上巨頭依靠開源的Apache Hadoop 進行分布式處理( 包括非結構化資料)。

　　此外，關系型資料庫管理系統(RDBMS) 能夠讓亞馬遜制作各種報告，并針對既定的問題對結構化資料進行優化查詢。

　　“Hadoop 和RDBMS 是互補性的技術，”西羅塔說。此外，通過亞馬遜的簡單存儲服務(Amazon S3) 存儲超大量的資料，再加上内嵌的資料處理、分析和搜尋工具，亞馬遜為其内部營運和使用其服務的外圍公司改寫了大資料技術的應用領域。

　　西羅塔指出，雲技術大大改變了大資料技術的應用前景。“你可以更快地從資料中得出有用的結果，而所付出的成本是如此之低，這讓傳統技術望塵莫及。”他說道。

　　“雲技術提供了即時擴充性和彈性。該技術能讓你能更快地就所關注的資料問題提出疑問，并迅速獲得有意義的解答。定期、全面地對大資料進行分析将有可能轉變你與客戶互動并做出反應的方式。”

　　重新設計業務模式

　　越來越多的公司和政府機構正轉而采用大資料技術來重新設計其業務模式。塔塔咨詢的維斯瓦納桑表示，廣告商正從堆積如山的資料中篩選出有效資訊，以便更透徹地認識顧客的購買行為以及提升業績的方式。零售商則綜合客戶行為、心理圖表和客戶生命周期事件以建立更精确的檔案。

　金融服務公司在多種資料點之間找到關聯，以便推出新服務和更有效地銷售現有服務。醫療衛生服務的提供商則使用大資料技術改善業績和成本結構。

　　在已經接納該概念的公司中包括風能技術企業維斯塔斯(Vestas Wind Systems) 。這家來自丹麥蘭讷斯的公司在全球67 個國家和地區部署了44,000 多個渦輪發電機，它使用大量資料集以便更好地發現在哪裡安放渦輪發電機才能達到最佳效果。

　　據維斯塔斯負責工廠選址和預測的副總裁克裡斯滕森(Lars Christian Christensen) 說，他們分析了178 個參數，包括雲量、濕度、太陽輻射、衛星圖像、毀林圖和大氣壓。除此之外，研究人員還必須以小時為機關檢視過去12 年間的參數。“那是一個巨大的多元資訊體系，”他說。

　　維斯塔斯采用了IBM 提供的大資料分析系統來解析資料庫，該資料庫存儲的資料量預期将在四年之内突破20PB 。以前，分析師可能要花數周時間，消耗大量資源才能梳理完這些堆積如山的資料。

　　如今，維斯塔斯擁有了一台名為Firestorm 的超級計算機，它由1,222 台工作負載優化的System x iDataPlex 聯機伺服器組成，公司便在Firestorm 上運作IBM BigInsights 軟體。這台超級計算機每秒可進行150 萬億次運算，不到一個小時就能通過對資料組的分析确定安放渦輪發電機的最佳地點。

　　“我們能夠更快地向客戶提供答案，以更有效地幫助他們更有效地進行決策并制定創收方案。” 克裡斯滕森說, “該系統大大降低了規劃流程的複雜度。我們處理資料的方式和整個分析流程都發生了變化。”

　　應對獨特挑戰

　　埃森哲的柯蒂斯指出，大資料給企業帶來了一些獨特的挑戰。舉例來說，企業必須決定如何将多種不同的資料集聯系在一起進而獲得新的認識。這需要分析師和業務專家發揮創造性思維。

　　另一方面，組織必須采集不同形式的非結構化資料，包括視訊片段、“必音頻檔案和媒體源。須有一種方式找到這些檔案，了解它們提供了哪些資料，以及如何對這些資料進行有效利用。”柯蒂斯說。盡管與之相關的技術已經存在——其中包括中繼資料的應用——不過這一領域仍在不斷發展演變。

　　企業還必須解決資料管理方面的問題，尤其是哪些業務部門應當擁有和管理資料以及誰有權擷取資料。旗下有不同業務部門( 例如零售銀行、商業銀行、理财、經紀和其他服務) 的金融公司更容易遇到這方面的挑戰。

　　在某些情況下，要進行清楚的劃分會不太容易，因為資料可能存在于某個業務合作夥伴或服務提供商營運的伺服器上。“關鍵是資料要得到有效管理，并得到很好的儲存。”柯蒂斯說，“資料管理問題必須得到解決。”

　　整合社交媒體

　　公司也在尋求将社交媒體整合到大資料模型中。位于意大利米蘭的網際網路線上商業服務提供商Matrix 主要幫助各類公司制定數字化戰略，以用于品牌塑造和形象管理。其客戶從汽車制造商到餐廳都有。

　　Matrix 銷售總監派特萊拉(Alessandro Petrella) 表示，使用SAS Content Categorization 和SAS Text Miner 後，公司能夠精密監控和分析網絡資訊、社交媒體交流和其他活動。

　　Matrix 不斷從500 多個新聞源和線上來源采集資料，并将資訊輸入Netezza 資料庫。公司随後将資料輸入SAS 軟體，借助标準的業務分類法對其進行清理和歸類。它還對其運算規則進行不斷改進，并定期加入新的資料元素。

　　該資料庫的總量目前已超過2TB ，它也越來越能夠有效地了解公衆對一個公司的認知和看法。派特萊拉說，“我們有能力高速且有效地處理資料。”

　　根據Ovum 咨詢公司針對企業高管進行的一份最新調查，多達三分之二的受訪者提到，利用大資料技術最重要的商業收益展現在營運和戰略決策流程的改善，以及客戶服務的改善。該調查還得出了同樣重要的的另一個發現：現在對大資料技術有興趣的已經不隻是大企業。Ovum 發現，在資料倉庫容量達到1TB 甚至更大規模的公司中，有38% 的公司的年收入低于5, 000 萬美元。

　　Ovum 預測，由于各組織都在不斷尋求更好的辦法去分析客戶細分市場，防止客戶流失，管理公共交通網絡和處理大量其他的任務，在未來兩年内對于大資料的需求将變得更普遍。

　　埃森哲的柯蒂斯表示，所有組織( 尤其是IT 部門) 必須了解大資料的運作規律，然後制定出未來利用和管理此類資料的清晰戰略。他建議以亞馬遜、谷歌和雅虎這些公司為模型建立資料戰略。這些公司擁有世界上最大的資料中心，從他們那裡可以“窺探未來計算技術的前景”。

　　柯蒂斯還建議技術部門和業務部門的上司者進行合作，對大資料技術獲得全面的認知。“這裡必然存在一個互相學習的過程，”他指出，“要推動一個大資料項目，他們必須一起協作。”

　　塔塔咨詢的維斯瓦納桑表示，盡管大資料技術還處于早期發展階段，但是它必将成為長遠的趨勢。“随着消費者轉而使用智能手機、平闆電腦以及其他數字化裝置，各公司累積的資料将越來越多。”

　　“引入大資料技術并加以有效運用的公司将獲得更明顯的競争優勢。與幾年前不同，他們現在能夠更好地認識問題、把握趨勢。”