随着物聯網的應用及智慧産業的爆發，“大資料”這個詞彙再次高頻度地出現在人們的視線中，圍繞大資料做文章也相應催生出了農業大資料、工業大資料、健康大資料、旅遊大資料等一批行業領域的大資料概念。作為各行各業智能化變革的重要組成部分，“如何利用大資料”成為傳統企業和新興網際網路廠商争相湧入的新一片藍海。
合理利用大資料助力中國各産業加速發展
智慧産業的應用簡單來說，需要依托傳感前端的智能感覺或者資料采集，經過資料篩選、分析等處理，最終根據業務需求提供服務應用的一個過程。其中，大資料起着“中樞”的作用，猶如人體五官收到外界資訊後經過大腦中樞處理進行決策的過程，其地位的重要性可謂不言而喻。
正因為這種行業變革的應用，各個領域開始了腦洞大開的暢想：智能手環檢測到你的體脂率近期呈上升趨勢，健身中心主動聯系你并推薦降脂訓練，生鮮電商平台發送低脂、健康食譜到你的手機;你有3天小長假，系統自動比對你過去的行程資訊、喜好、消費水準，推薦旅遊方式、目的地，并将目的地相關的近期狀況、遊客點評等資訊呈現給你……似乎無限的商業模式擺在眼前，隻等你開始開采金礦。
大資料之采集分析，你了解多少?
有人曾說，大資料像地底下的石油資源，資料采集就相當于發現原油。大資料采集的對象不僅僅包含人們在上網過程中浏覽或産生的資訊資料，從移動互聯演進到萬物互聯的時代更是包含了全世界的家電、工業裝置、監控儀器、汽車及可穿戴裝置等等裝備終端傳感裝置所産生的運作資料、環境資料、監控視訊圖像資料等等，所産生的資料将會是指數級爆炸式增長。ibm的研究稱，整個人類文明所獲得的全部資料中，有95%是過去幾年内産生的，而到了2020年，全世界聯網裝置可達200~500億的數量，所産生的資料規模将達到今天的40倍以上。
資料的産生過程可以大緻分為兩類：一類是通過社交網絡、電商平台、app應用等消費者領域産生的資料，如社交、購物、出行等資料;另一類是各種智能裝置、監控裝置、傳感裝置等自主采集上傳的資料，如人/物的狀态資訊、運作資料、地理位置、溫濕度等環境資料。這些資料不僅來源十分廣泛，資料類型更是紛繁複雜，加上各種工業plc、不同通訊協定的傳感終端帶來多源資料的問題，這些都需要大資料采集層面實作智能感覺識别、信号轉換、适配、資料傳輸等技術的支援。
大資料技術下的系統平台通常以雲存儲方式進行資料存儲，且随着企業資訊化的加深呈現資料融合、加工再增值的趨勢。但是，原本割裂、各自存在的系統平台資料存儲格式千差萬别，如傳統的财務、辦公、人力、采購等系統采用外部供應商提供，而核心業務系統自行開發管理，所導緻的不同應用間資料結構化、半結構化、非結構化(如語音、圖檔、視訊)等不同形态帶來異構資料存儲的難題。傳統針對關系型資料的資料挖掘、分析處理方法在異構的大資料處理要求面前顯得過于乏力，需要創新研究新型大資料分析和資料挖掘處理方法。
此外，大資料呈現着資料價值密度較低的特性，且資料價值隐藏較深，對資料的抽取及分析帶來不小的挑戰，出于對最後服務應用品質的保障，必須使用多種複雜的分析算法對原始的累積資料進行轉換及清洗。以車聯網為例，車輛運作狀态資料實時上傳，每天單部車輛所産生的不間斷的資料中，可能有用的僅為幾個關鍵資料，如果沒有進行資料“提純”，再多的資料也隻是一堆資料垃圾。
大資料服務離我們還多遠?
服務應用展現着大資料變現的至關重要一個環節，也是展現商務模式的核心環節。沒有真正的服務應用，大資料隻能叫“海量資料”，或者說“bigdata”隻能叫“manydata”，是以，在海量資料中淘金才是大資料的真谛所在。但是，現在國内大部分公司對于大資料的應用僅僅停留在資料圖表展示、淺層分析，至于資料下一步怎麼用，沒幾個人搞的明白。
在工業制造領域，依靠工業制造的各個環節傳感終端累積的資料可以為制造企業帶來制造效率的提高、産品品質的改善、生産成本和資源消耗降低等轉變;通過大資料的高速分析可以精準計算着每個生産步驟和節拍，這些都最終為企業管理者打造一座透明的智能工廠中的房間、智能工廠。在農業生産領域，通過農田種植、果園花卉、畜禽水産養殖等領域大量的終端感覺資料采集，并結合農業生産豐富的曆史資料資源，進行農情監測、重大災害預警，進而進一步預測農産品産量、價格波動趨勢等，打造智慧農業園的農業願景。
這些都是大資料服務于具體行業應用的例子，但是離行業廣泛應用還尚待時日。此外，大資料涉及的資料安全問題還亟需解決，需要服務提供商對資料資源進行切割、隔離，一方面保障使用者的資料對于其他使用者是不可見的，另一方面需要確定單個使用者的不良資料操作對整個大資料平台的整體和服務不會産生影響。同時，電信、能源、金融、醫療、教育、政務、工業及農業等各個領域對資料應用均有不同程度的需求，部分行業對基于大資料的平台服務有着高實時性的要求，如裝置故障預測預警、生産決策支援等業務，部分行業需要涉及高并發數通路及操作，比如電信、金融平台等，這些都對資料的算法提出了非常高的要求。
開放、共赢，勿讓大資料成為“鏡中花”
大資料能夠帶來巨大的商業價值已經毋庸置疑，各行各業均已開展了一場無形的較量，資料提供商、服務提供商都想在這片藍海強占先機。但是，應該清醒的是，大資料之是以稱之為”大“，更多展現的是資料資源的整合、業務的合作，否則，大資料之“大”，隻會生成一堆泛濫的資料，并跟垃圾一樣，成為另外一種放錯地方的寶藏。建設一種共赢、開放的形式來讓企業、硬體廠商、服務提供商、産品使用者共享資料價值，讓未來的生活越發智慧便捷，這才是大資料不會淪為“鏡中花，水中月”的唯一途徑。
====================================分割線================================
本文轉自d1net（轉載）