相信大家都知道工業4.0理念，即利用物聯網技術将生産中的供應、制造、銷售資訊資料化、智慧化，但推行效果并不是很理想，其中很大一部分原因是企業忽略了自身内部資訊系統仍有備援的現象而盲目跟風，過程中由于缺乏建設條件或前期資訊化技術儲備不足，形成跳躍式斷層，最終導緻資訊化改革中斷或失敗。
這種結果讓我不禁聯想到現在很火的大資料理念，大資料一詞一度被炒的沸沸揚揚，利用大資料創造企業價值和提高競争力等各種偏實際或偏浮誇的理念和解決方案一瞬間讓大資料變得炙手可熱，無論是企業還是軟體廠商都一擁而上，人人都想從大資料風潮中分一杯羹或得一份利，但是大資料并不是适合所有企業。即使要做大資料分析，也要有一套正确的落地方案，今天筆者将根據自身對大資料的了解與大家分享讨論下大資料到底适合應用在哪些領域及大資料的落地方案。
在此之前先來分析下，大資料理念推出後帶來了哪些影響。
1.大資料為企業帶來的變化
1.1 軟體廠商
無論是做BI商業智能的廠商還是做報表分析統計業務的廠商，隻要與資料沾邊的，全部推出大資料解決方案，所謂的大資料分析産品，隻不過是把原有的産品換個标簽罷了。除此之外，應用軟體提供商、軟體內建商也紛紛将開源的大資料存儲、分析産品與自身産品相結合，推出大資料産品及解決方案，至于産品或方案的效果就不得而知了。
1.2 企業客戶
在大資料被熱炒的浪潮下，特别是在一些行業/企業中成功實施并帶來一定效果後，許多管理高層開始規劃建設大資料分析平台，一部分原因是企業希望通過大資料平台帶來利益并對其實作效果寄予厚望，另一部分原因是企業迫于同行業競争壓力，但嘗試之後發現，真正建設成功或運作起來的企業少之又少。原因很簡單，因為他們完全忽略了内部沒有整合的資訊化系統；重複、錯誤、不一緻的資料；割裂的業務資訊和流程，直到建設後才發現大資料為企業資訊化帶來了新的複雜性，且從中獲益所需要付出的前提與努力比預計中的多得多。
目前看來，在大資料建設上，企業需要保持冷靜，在真正了解大資料及建設大資料的前提之後在考慮也不遲。
2.大資料定義、特點、用途
2.1 定義
大資料（Big data） 或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟體工具，在合理時間内達到撷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。
對于“大資料” 研究機構Gartner給出了這樣的定義。“大資料”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來适應海量、高增長率和多樣化的資訊資産。
2.2 特點
- 體量巨大(Volume)，伴随着各種随身裝置、物聯網、雲計算、雲存儲等技術的發展，人和物的所有軌迹都可以被記錄，資料是以被大量生産出來。
- 類型繁多(Variety)，資料格式變得多樣，涵蓋了文本、音頻、圖檔、視訊、模拟信号等不同類型；資料來源也變得多樣，不僅産生于組織内部運作的各個環節，也來自于組織外部。
- 價值性(Value)，資料的價值真實性是獲得真知的最重要因素，因為處理大資料的實質就是為企業提供決策支援，如果不能保證資料品質，資料分析隻成空談。
- 速度快(Velocity)，包括兩方面，一是資料産生快，二是資料處理快，在資料處理方面，要在秒級時間範圍内分析出結果，超出這個時間，資料就失去了價值。
2.3 用途
- 精準營銷：為企業營銷投放管道、營銷内容、回報等提供有效的資料支撐。
- 業務更新：通過資料反映産品、業務帶來的影響和客戶的回報，為業務疊代、流程優化提供資料支撐。
- 趨勢預測：為企業預測新的市場趨勢，使企業可以衡量新産品是否會帶來新市場，進而決定是否批量生産。
- 風險預警：通過資料分析進行風險預測，及時提供警告，便于企業進行相關調整與決斷。
- 智能推送：分析使用者行為，刻畫人物畫像，為使用者提供智能所需消息推送。
3.大資料常見的應用場景
雖然當下不是所有企業都适用于大資料技術，但不可否認大資料技術在一些行業中是有成效的，如：政府機構、金融、網際網路、醫療行業等。
大資料的來源就是基于網際網路的資料，而網際網路行業對于資料的利用具有先天優勢，在資料的利用與分析上更具有準确性和權威性；金融行業屬于一種特殊的行業，自有資本，獨立核算，涵蓋銀行業、證券業、保險業，在可分析資源上占有絕對的優勢；政府機構對于大資料平台建設的推進更有力度，更容易實施進行，同時在資金方面更加充足。
3.1 網際網路應用場景
1.電商
大資料的來源就是基于網際網路的資料，而網際網路行業對于資料的利用具有先天優勢，在資料的利用與分析上更具有準确性和權威性；金融行業屬于一種特殊的行業，自有資本，獨立核算，涵蓋銀行業、證券業、保險業，在可分析資源上占有絕對的優勢；政府機構對于大資料平台建設的推進更有力度，更容易實施進行，同時在資金方面更加充足。
2.社交
如今網際網路更加強調的是“社交”和“互動”，社交大資料成為更多商家促進營銷的手段，使用者可以随時随地在社交網絡上分享資訊、美食、影片、旅遊地、生活趣事等，這些資料既可以為客戶帶來效用，也可以為商家或産品導入流量，而這些都來自于使用者身份的資訊互動和社交應用。
3.搜尋
以搜尋引擎為支撐，可以收集基于使用者搜尋行為的需求資料，之後根據使用者搜尋需求進行精準廣告的投放或相關資訊的連結、關鍵詞的提示，搜尋網站可以以這些資料做為資産，按照點選次數付費帶來收益。
3.2 政府機構應用場景
1.工商部門
通過大資料資源，建立注冊登記監測預警機制，對市場準入中的外地異常投資、行業異常變動、設立異常集中等異常情形進行監控，對風險隐患提前介入、先行處置，有效遏制了虛假注冊、非法集資等違法行為。同時為企業提供産業動态、供需情報、投資情報、專利情報、招投标情報等基礎性情報資訊。
2.氣象部門
通過大資料，抓取氣象局、地震局的氣象曆史資料、星雲圖變化曆史資料，以及城建局、規劃局等的城市規劃、房屋結構資料等資料源，通過建構大氣運動規律評估模型、氣象變化關聯性分析等路徑，精準地預測氣象變化，尋找最佳的解決方案，規劃應急、救災工作。
3.醫療衛生
建立人口健康資訊大資料平台，公共衛生部門通過覆寫區域的居民健康檔案和電子病曆資料庫，建立資料交換平台和資料共享平台，實作各業務部門資料資源的互通互聯，利用大資料，實作檢測傳染病，進行全面的疫情監測，并通過監測進行快速響應和采取措施。
3.3 金融行業應用場景
1.預測需求
通過大資料，金融企業可監控各種市場推廣運作情況，将客戶行為轉化為咨詢流，從中分析客戶的個性特征、風險偏好，了解客戶的金融往來習慣及使用行為，進一步分析及預測客戶潛在的需求。
2.個性化服務
通過大資料所在地的人口特征，年齡及交易量複雜度、客戶在網站、手機銀行、微信銀行等軟體使用習慣分析，得出客戶比例，針對比例考慮新增矮櫃服務視窗并提供大螢幕顯示器提醒，提供不同需求的咨詢和服務等。
3.風險管控
可通過對企業的生産、流通、銷售、财務等相關資訊結合大資料挖掘方法進行貸款風險分析，量化企業的信用額度，更有效地開展中小企業貸款，同時對中小企業貸款進行風險評估和實時欺詐交易識别、反洗錢交易等手段。
相信除去上述适合建設大資料平台的幾個典型行業或部門，其它行業尤其是行業中的大中型私有企業大多數都會對大資料寄予厚望，期待它可以解決長期存在的業務問題，幫助他們在市場搶奪中勝出，使營銷模式創新，在産品與服務中更具有優勢、競争力；或者一定程度上認為不上大資料就跟不上時代的形式。如果一定要進行大資料建設，那麼一定要認清資訊目前的資訊化規模，在了解大資料建設的前後關系後，按部就班的進行規劃實施，切不可什麼都不規劃、考慮就輕易将資金投入到大資料的建設中揮霍。下面就來看看對待大中型的私有企業如何進行大資料方案的落地。
4. 傳統企業大資料價值分析
4.1 能源
對于能源企業，通過對能源生産、供給、消費、智能裝置、客戶資訊、電力運作等不同資料源的資料進行綜合分析，可以設計開發出節能環保産品，為使用者提供付費低、能效高的能源使用與生活方式；可以充分挖掘客戶行為特征，提高能源需求預測準确性，發現消費規律，提升企業營運效益的同時，增強對企業經營發展趨勢的洞察力和前瞻性，有效提高企業決策分析和風險管控能力。
4.2 制造
通過大資料技術，分析系統内部（結構化/非結構化資料）和外部（産業、行業、社交、國計民生資料），貫穿于設計、工藝、生産、管理、服務等各個環節，例如：裝置預測維護、優化生産流程、能源消耗管控、對原物料品質進行監控，發現潛在問題并及時預警、通過預測能力改善訂單處理方式，在客戶下單前處理訂單，提高效率、通過預測消費者需求優化物流及合理進行庫存管理。
4.3 零售
通過大資料，主要将内部資訊（POS資訊、商品銷售資訊、顧客資訊、門店樓盤資訊、銷售額、利潤分析等）與外部資訊（市場資訊、競争對手資訊、流行趨勢資訊、政策與制度資訊、新技術資訊、消費趨勢等）進行統計分析，幫助企業根據分析客戶群屬性及活動規律，繼而進行客戶群體細分，針對性的制定出精細化的營銷方案，同時根據市場環境對新産品技術進行預測，創新業務及産品，精準投資，提高投資回報率。
4.4 醫療
通過大資料，結合醫院各個資訊化系統間的互通資料，并結合患者具體健康情況及過往病史，如：病人基本屬性資料、病例資料、用藥資料等，幫助醫生快速做出診斷及提供針對性的用藥治療、加強對病人的護理，減少再入院幾率；在醫院管理方面，大資料通過對患者臨床記錄及相關外部政策、社交評價等資訊的收集，便于根據政策及時調整醫療模式，對員工績效進行考核、優化醫院内部付款、臨床、服務流程，規範用藥标準，提升整體服務能力等。
4.5 房地産
通過大資料，将房地産企業内部（企業資訊化系統）與外部（統計年鑒、行業管理部門、相關行業報告、行業專家意見及屬地市場調查等）資料進行挖掘、分析，使管理者掌握和了解房地産行業潛在的市場需求，未來一段時間每個細分市場的銷售量和價格走勢等，針對不同的細分市場來實行動态定價和差别定價；同時可以掌握競争者的商情和動态，知曉在競争群中所處的市場地位，了解地産行業黃金地段，輔助投資擴充地段。
5. 企業大資料該如何落地
無論企業如何，有大資料的建設意識，一定程度上可以了解為在資訊化建設上還是有一定概念的，但是在建設前一定要清楚兩點，第一，大資料并不是可以解決企業資訊化中的所有問題；第二，大資料建設的前提是企業具有較高的資訊化建設基礎。
5.1 大資料不能解決的問題
1.提高資料品質
很多企業管理者會認為大資料分析是對資料治理後進行分析，這樣的想法是大錯特錯的，大資料主要是在合理時間内達到撷取、處理、并整理成為幫助企業經營決策的資訊，期間包括資料的采集、存儲、分析、展現，是不涉及到資料治理的，真正的資料治理還是需要專業的資料治理工作，如MDM主資料管理系統。
2.節省工作時間
有些管理者認為企業運用了大資料分析，可以節省員工對市場分析、業務處理、客戶維護的時間，但大資料隻是起到預測作用，實際的決策還是需要企業自身承擔，而且對于缺失對大資料處理資料庫、伺服器、業務分析技能的企業資訊中心來說，一定程度上增加了企業的工作負擔。
3.系統資料整合
很多管理者認為大資料的建設會将企業各個應用系統的資料進行整合利用，同時對遺留系統的資料也可以很好的利用，然而大資料是不具備系統資料整合能力的，對于系統的整合還是要依靠專業的整合工具ESB來實作。
5.2 大資料建設的前提條件
上文中提到，在進行大資料建設前要确認企業是否具有較高的資訊化建設基礎，這裡的建設基礎如下：
- 企業是否具有足夠支撐資料分析的資訊化系統
- 資訊化系統是否存在資訊孤島現象，有無整合
- 企業内部資訊化系統資料是否進行統一的治理（全面性、一緻性、準确性）
- 企業内部系統間業務流程是否進行統一的梳理
5.3 企業典型的IT架構階段
1.第一階段
- 資料治理：對企業組織、人員、崗位進行統一治理，實作資料統一同步及分發，保持資料的一直性、準确性、完整性。
- 應用整合：內建企業内部各個IT 應用系統，并使之互相協同工作，形成一個更大的整體系統，不隻是實作系統間的技術內建整合，還要實作業務之間的有機整合。
- 門戶內建：将企業内部原有的零散系統中的資訊、應用、服務通過頁面內建、菜單內建等技術整合在統一的通路平台，提供企業範圍内的統一授權和身份認證，基于單點登入、個性化配置方式，為企業IT架構提供一個标準的、可擴充的Web 應用基礎架構，平台支援多端登入，即PC門戶、移動門戶；同時建立資料門戶。
- 資料門戶：在門戶內建中建構企業資料門戶，即企業系統資料的統一分析展現平台，通過多樣的圖表、表格等形式高效地展現，幫助企業進行運籌決策，第一階段涉及分析的資訊化系統根據企業管理者當階段需求而定。
2.第二階段
- 資料治理：根據第一階段資料治理内容，繼續完善企業内部主資料，即客戶、供應商、物料等，通過一組标準和方法轉換異構操作資料，在整個企業範圍内保持資料的一緻性、完整性、準确性。
- 資料分析：通過資料內建将散布在企業所有系統中的資料，以一種松散耦合、集中呈現的方式進行統一管理，使資料在企業範圍内互聯互通，之後通過配置相關的資料源進行資料擷取，以圖表報表形式展現結合後的基礎資料與業務資料，在資料門戶中以柱狀圖、餅狀圖、趨勢圖、雷達圖、甘特圖、進階表格、樹形表格等形式展現，為管理者提供全面的決策分析，同時為下一階段大資料分析奠定基礎。
- 流程內建：為跨異構系統的流程內建，以業務流程為中心，幫助企業各業務環節與客戶需求對齊的管理方法，有效整合人力、資訊等資源，實作跨系統、跨部門、跨組織的企業營運，支撐企業實作業務的“縱向貫通”與“橫向內建”，幫助企業實作從戰略到營運端對端的跟蹤、回報與優化。
3.第三階段
第三階段為大資料分析階段，通過将企業内外部資料進行統一的分析，能夠真實、準确、清晰、有效的将企業内部及行業外部相關資料進行可視化展現，幫助企業提升行業洞察力，加強決策力，進而提升整體競争力，大資料的建設過程分為五步。
- 資料基礎平台建設：建立資料平台的架構，進行資料規範，關鍵資料名額體系的建立，從各個部門中的業務名額進行提煉。
- 資料報表與可視化：進行标準化可配置資料報表設計，可視化輸出設計，包括行為、收入、性能、品質等多種資料類别。
- 産品與營運分析：對已有的使用者行為和收入資料等進行分析，輸出日報、周報、月報等各種專題分析報告，包括：産品優化分析、付費轉化率分析、管道效果分析等。
- 精細化營運平台：搭建營運平台，進行使用者、商品和服務細分，通過多種算法的組合優化進行商品和服務的個性化推薦，針對不同産品的生命周期和使用者生命周期建構産品資料營運體系。
- 戰略分析與決策：通過機器、算法和資料分析來實作“業務營運監控層”和“使用者/客戶體驗優化層”工作，真正利用好大資料帶來的價值。
5.4 大資料常見的技術手段
大資料處理所涉及的主流技術，一般包括資料存儲和管理，包括檔案系統、資料庫資源管理系統、計算、分析展現工具，如圖所示：
在上層為計算處理層，如Spark、Storm、MapReduce包括各種不同計算方式，如批處理、流處理和圖計算等；資料分析和可視化基于計算處理層，分析包括簡單的查詢分析、流分析以及更複雜的分析（如機器學習、圖計算等）；查詢分析多基于表結構和關系函數，流分析基于資料、事件流以及簡單的統計分析，而複雜分析則基于更複雜的資料結構與方法；資料可視化是對分析結果的展示，具體技術細化為資料采集、資料存儲、資料彙聚、資料展現、資料使用。
1.資料采集
在大資料分析中，資料采集作為第一個環節，分别采集内部資料（管理系統、Web系統、實體資訊系統）和外部資料（行業、産業、社交、國計民生），因為資料來源不同，是以會存在不同的結構，如檔案、XML樹、關系表、視訊聲頻等，資料采集主要将這些資料收集、整理、清洗、轉換後，生成到一個新的資料集，為後續查詢和分析處理提供統一的資料視圖。
2.資料存儲
一般情況下的資料存儲類型多為結構化資料，通過關系資料庫系統（RDBMS）即可解決，但是在大資料分析技術中，多為半結構化和非結構化資料，而且各種大資料應用通常是對不同類型的資料内容檢索、交叉比對、深度挖掘與綜合分析，這就需要用到Hadoop、列存儲資料庫Cassandra 、文檔資料庫MongoDB、圖資料庫Neo4j、K/V存儲Redis等。
- 結構化資料：對于此類資料，主要采用列存儲資料庫Cassandra來解決，這類技術具有高性能和高擴充性特點。
- 半結構化與非結構化資料：對于此場景，基于Hadoop實作，通過對Hadoop生态體系的技術擴充和封裝，實作對半結構化和非結構化資料的存儲和管理。
- 結構化與非結構化混合資料：對于此場景，基于Hadoop、列存儲資料庫Cassandra 、文檔資料庫MongoDB、圖資料庫Neo4j、K/V存儲Redis等技術結合的模式進行資料處理。
3.資料彙聚
資料彙聚，即根據大資料的不同資料特征和計算特征，從多樣性的大資料計算問題和需求中提煉并建立的各種高層抽象或模型，這裡一般基于Spark、Storm、MapReduce等資料計算架構，通過資料分析算法，進行資料統計分析、實時流處理，機器學習和圖計算等。流計算實作對實時資料進行流式計算的能力，例如實時追蹤頁面的通路統計，訓練機器學習模型，自動化異常檢測；圖計算支援針對圖的各種操作以及一些常用圖算法；機器學習算法，包括分類、回歸、聚類、協同過濾等，提供了評估模型、資料導入等支援功能。
4.資料展現
資料展現部分主要将轉換彙總後的資料以可視化的形式直覺的展現在使用者面前，相比傳統使用表格或文檔展現資料的方式，展現形式更具多樣化、豐富化，包括：餅圖、柱狀圖、折線圖、氣泡圖、面積圖、省份地圖、詞雲、瀑布圖、漏鬥圖等酷炫圖表，還包括自定義名額、表單查詢等功能，可以滿足使用者不同的展示和分析需求。
5.資料使用
如果大資料隻是對資料采集、存儲、分析和展現，那麼它就沒有存在的意義了，而展現大資料真正價值的是資料使用，即這些彙總分析後的大資料可以為企業帶來什麼利益。
對于政府
可以促進智慧電網、智慧交通、智慧醫療、智慧民生等多個領域的發展，交通方面可以對監控錄像資訊、地鐵公交刷卡資訊、停車站收費資訊等收集，幫助公交路線設計、車流指揮控制等緩解交通負擔，醫療方面通過數字化病曆檔案，收集病人資訊，實作檢測傳染病，進行全面的疫情監測，并通過監測進行快速響應和采取措施等。
- 對于企業
大資料能夠幫助企業分析大量内外部業務、行業、産業、社交資料，進一步挖掘市場機會和細分市場；幫助企業不同部門管理者掌握風險、決策分析；幫助企業根據使用者的回報、市場需求催生産品和服務上的創新，給符合使用者的需求；同時除了幫助企業在戰略、市場上的創新，還可以幫助企業在改革中挖掘新的更服務企業業務的管理模式和營運流程。
- 對于個人
大資料可以幫助使用者在消費、資訊檢索時實作按需搜尋，并能提供可信的、真實的、有效的、友好的資訊推薦、針對性的服務，如針對個人身體情況提供個性化的醫療服務，針對個人喜歡提供個性化購物服務等，有效地提升使用者體驗。
6. 關于大資料建設的意見
上述講到了大資料的含義、為企業帶來的變化及适合應用的行業，但這并不意味着其它行業不可以建設大資料，筆者也身處IT行業，對目前大資料技術和理論略知一二，大資料的确可以幫助企業帶來利益，但大資料不僅僅是需要上述講到的建設前提、規劃步驟、IT及技術能力，還要考慮管理者的建設意識、大資料建設前期的資料思維、企業自身發展情況等因素。
6.1 意識行動
對于一個企業來說，若想大資料建設到位，管理者的意識行動十分重要，這就要求管理者要具有較強的資訊化意識、超前的規劃能力、對待變革的創新力、推進執行的決斷能力，首先，保證企業的資訊化水準整體上處于領先狀态，為大資料分析平台建設奠定基礎；其次，大資料的建設需要對企業系統資料、業務流程、業務關系等一系列事情進行整理分析，過程是較為漫長的，這就需要管理者有持續監督和推進的意識；最後，平台的建設一定程度上會促進業務的變革，這就需要管理層具備應對變化的能力和創新業務的能力。
6.2 資料思維
無論是大資料還是資料治理，都需要以資料為基礎，但相對于資料來說，具有運用資料的思維更重要，即資料思維。資料思維是根據資料來思考事物的一種思維模式，是一種量化的思維模式，是重視事實、追求真理的思維模式。資料思維要求我們理性的正确的運用資料去分析處理一些事物，講究邏輯關系，用數字說話，而不是靠傳統的經驗去判斷。
那麼為什麼要企業管理者具有資料思維呢？大多情況下，企業習慣用經驗去判斷一件事發生的原因及規律，很少從資料結果上去評判推斷事情的規律，這就會造成企業忽視資料的重要性，資料治理薄弱，最終不能為大資料奠定良好的基礎；第二，管理者通常習慣經驗判斷模式，資料思維意識較弱，在大資料分析産生的結果和事實面前，如果與預期不符，會感到無法接受，并感到自己的權威受到挑戰，進而不能更好的适應和利用大資料平台，是以隻有具有資料思維意識才能掌握大資料思維，而避免思維産生斷層。
6.3 結合自身
相信對于大多數的大中型私有企業來說，企業主要的關注點一定是在成本、收入、利潤、風險這四點上，而企業若想對着四點資料進行把控，不通過大資料技術手段也是可以實作的，因為這些關心的資料更多的是對企業内部的系統資料進行彙總、治理、內建、分析、展現、融合。
如果一定需要分析展現的平台，事實上，使用企業資料門戶就可以滿足現階段的要求，資料門戶通過對企業各個應用系統的資料進行整合，将企業成本、收入、風險等資料統一分析，并以圖形化、圖表化等形式展現。為各層管理者提供管理駕駛艙、決策戰略室、營運分析平台，同時裡面涵蓋了KPI名額、資料統計分析、監控預警等功能。
企業的管理層有大資料意識是件好事，但是一定要在力所能及的情況下進行建設，面對目前需要，可以選一款好的平台産品搭建資料門戶滿足目前需求，在建設過程中一方面不斷完善企業内部關于資訊化建設、推進的制度/文化，培養企業員工的資訊化意識，提升對資訊化的重視程度；另一方面逐漸完善加強資訊化基礎設施的建設、搭建統一的IT架構，為後續大資料平台建設奠定基礎，待IT設施與大資料建設條件配套後，屆時大資料分析平台一定可以成為為企業帶來利益的最佳助手。