2017年大資料發展的十大趨勢以及在各行業的應用潛力

2016年，大資料已從前兩年的預期膨脹階段、炒作階段轉入理性發展階段、落地應用階段。2017年，大資料依然處于理性發展期，依然存在諸多挑戰，但前景依然非常樂觀。2017年大資料的發展呈現十大趨勢：

趨勢1：越來越多的企業實作資料孤島的打通，驅動大資料發揮更強的威力

企業啟動大資料最重要的挑戰是資料的碎片化。在很多企業中尤其是大型的企業，資料常常散落在不同部門，而且這些資料存在不同的資料倉庫中，不同部門的資料技術也有可能不通，導緻企業内部資料無法打通。若不打通，大資料的價值則難以挖掘。大資料需要不同資料的關聯和整合才能更好的發揮了解客戶和了解業務的優勢。将不同部門的資料打通，并且實作技術和工具共享，才能更好的發揮企業大資料的價值。

剛剛過去的2016年，無論是企業還是政府機構，都在不同程度的展開了大資料的工作，并意識到了内部資料打通，解決内部資料孤島是啟動大資料戰略的重要基礎。但是，大部分企業和機構内部資料打通的工作做的并不到位。2017年，我們有理由相信，更多企業會有更大的決心去推動内部資料打通，并在此基礎上，建構與外部資料打通的基礎，實作内外部資料打通，更好的發揮大資料關聯和整合的業務價值。

趨勢2：大資料在企業管理中落地，大資料和企業精細化經營結合更為緊密

很多企業業務部門不了解大資料，也不了解大資料的應用場景和價值，是以難以提出大資料的準确需求。由于業務部門需求不清晰，大資料部門又為非盈利部門，導緻很多企業在搭建大資料部門時猶豫不決，或者處于觀望嘗試的态度，從根本上影響了企業在大資料方向的發展，也阻礙了企業積累和挖掘資料資産。

甚至由于資料沒有應用場景，企業删除了很多有價值的曆史資料，導緻企業資料資産流失。是以，這方面需要大資料從業者和專家一起，推動和分享大資料應用場景，讓更多的業務人員了解大資料的價值。

一種新的技術往往在少數行業應用取得了好的效果，對其他行業就有強烈的示範效應。2016年，大資料在網際網路、電信、金融、零售等行業取得了較好的效果。在2017年的經濟大環境下，更多的企業和機構會更注重精細化經營，大資料作為一種從資料中創造新價值的工具，将會在許多行業的企業得到應用，驅動業績增長。大資料将在幫助企業更好的了解和滿足客戶需求和潛在需求，更好的應用在業務營運智能監控、精細化企業營運、客戶生命周期管理、精細化營銷、經營分析和戰略分析等方面。

趨勢3：大資料已經成為企業或機構的無形資産，将成為企業參與市場競争的新武器

在移動網際網路和大資料時代，每一個企業日常營運中所産生的大資料都将成為企業最為重要的無形資産。随着2017年大資料應用的發展，大資料價值得以充分的展現，大資料在企業和社會層面成為重要的戰略資源，資料成為新的戰略制高點，是大家搶奪的新焦點。如何有效的管理企業每日所産生的資料，從海量的資料中挖掘并沉澱有價值的資料，并把這些有價值的資料作為驅動業務增長的重要引擎，均為資料作為無形資産管理的重要任務。

google、亞馬遜、騰訊、百度、阿裡巴巴和360、今日頭條等網際網路企業通過不斷的挖掘和沉澱大資料，利用大資料驅動業務的增長;金融和電信企業也在運用大資料來提升自己的競争力。這些企業均有一個共同的特點，即成立了大資料部門對企業大資料做重點管理和應用，真正的把大資料作為無形資産管理和應用起來。

我們有理由相信，在2017年越來越多的企業和機構将大資料定位為企業的無形資産，并對大資料無形資産做系統化的管理和應用。大資料作為無形資産将成為提升機構和企業競争力的有力武器。

趨勢4：大資料能力産品化，驅動越來越多自助服務出現

大資料能力在企業應用時，需要以非常簡單易用的方式來呈現，才能讓更多的資料使用者使用。企業資料使用者(往往是業務、産品、營銷負責人等非大資料專業人士)在實際運用大資料的時候，更關注的是大資料的産品在哪些方面可以直接幫助提升績效，不需要關注大資料産品背後的分析模型等“黑洞”。是以大資料在業務具體的場景運用時，關鍵是把大資料分析能力産品化，建構簡單易用的資料産品。

另外，随着大資料專家的成本上升，越來越多的企業也會尋求簡單易用成本相對較低的第三方資料産品。國際知名咨詢機構idc預測，可視化資料發現工具的增長速度将比商業智能(bi)市場的其餘工具快2.5倍。到2018年，投入于支援最終使用者自助服務的這種工具将成為所有企業的要求。諸多大資料廠商已經釋出了擁有“自助服務”功能的大資料分析工具。

趨勢5：大資料算法越來越智能化，深度學習将更為普及

知名it研究與顧問咨詢公司gartner認為，機器學習是2017年的十大戰略技術趨勢之一。在2017年，随着大資料分析能力不斷增強，越來越多的企業開始投入于機器學習，并從中獲益。企業可以通過機器學習算法識别潛在客戶，或識别即将流失的客戶，或識别營銷推廣中作弊的管道，或及時發現關鍵kpi下跌的原因等。總之，機器學習可以驅動企業營運更加智能化。

我們認為，随着機器學習的大規模應用和發展，越來越多的企業将使用深度學習算法，使用深度學習算法将會使得預測更為準确。深度學習是機器學習領域中一系列試圖使用多重非線性變換對資料進行多層抽象的算法，互相關聯的多層級為深度學習提供了“深度”，相較于傳統的機器學習算法來說，是一個巨大的進步，尤其是卷積神經網絡等深度學習算法，将會越來越受歡迎。

趨勢6：大資料和人工智能深度融合，成為人工智能發展的重要驅動力

alphago是2016年最令人深刻的人工智能研究成果，alphago引起了大家對人工智能的高度關注。但是，人工智能的發展還停留在弱人工智能階段，目前很難超越人類認知能力，甚至也達不到與人類比對的認知能力。但我們不可否認人工智能在實踐中的進步，比如語音識别和圖像了解方面的進步。企業可以在合适的場景中運用這些逐漸成熟的語音和圖像識别的技術。

未來人工智能的發展，取決于兩個方面：一方面是深度學習算法技術的成熟和計算效率的提升;另一方面取決于海量資料或大資料的發展。這是因為，深度學習算法要發揮作用必須先接受訓練。比如，機器要學會識别圖檔中的狗，必須先被輸入一個包含數量上萬或者數十萬的标記為狗的 “訓練集”，這個訓練集數量越大，狗的種類越全，機器學習的效果越好。

人工智能專家吳恩達曾把人工智能比作火箭，其中深度學習是火箭的發動機，大資料是火箭的燃料，這兩部分必須同時做好，才能順利發射到太空中。是以，對于深度學習和人工智能，需要越來越多的資料。國際上網際網路巨頭除了自身業務可以采集到海量的資料以外，正在用更開放的政策吸引第三方的資料輸入，以充實其大資料，更好的促進人工智能的所依賴的大資料基礎。

趨勢7：大資料促進智慧生活和智慧城市的發展

随着大資料與智能硬體的結合發展，大資料将進一步改善我們的生活。

在健康方面，我們可以利用智能手環監測，對我們的睡眠模式來進行追蹤，了解睡眠品質;我們可以利用智能血壓計、智能心率儀遠端的監控身在異地的家裡老人的健康情況，讓遠在他方的外出工作者更加放心;

在出行方面，我們可以利用智能導航出行gps資料了解交通狀況，并根據擁堵情況進行路線實時調優;

在居家生活方面，大資料将成為智能家居的核心，智能家電實作了拟人智能，産品通過傳感器和控制晶片來捕捉和處理資訊，可以根據住宅空間環境和使用者需求自動設定控制，甚至提出優化生活品質的建議，如可以根據室内溫度自動調整空調的溫度、根據空氣品質來決定是否要打開空氣淨化器等。

同時，随着大資料和智慧城市的融合，大資料在智慧城市将發揮着越來越重要的作用。由于人口聚集給城市帶來了交通、醫療、建築等各方面的壓力，需要城市能夠更合理地進行資源布局和調配，而智慧城市正是城市治理轉型的最優解決方案。智慧城市是通過物與物、物與人、人與人的互聯互通能力、全面感覺能力和資訊利用能力，通過物聯網、移動網際網路、雲計算等新一代資訊技術，實作城市高效的政府管理、便捷的民生服務、可持續的産業發展。

智慧城市相對于之前數字城市概念，最大的差別在于對感覺層擷取的資訊進行了智慧的處理。由城市數字化到城市智慧化，關鍵是要實作對數字資訊的智慧處理，其核心是引入了大資料處理技術。大資料是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧醫療、智慧城管等，都是以大資料為基礎的的智慧城市應用領域。

趨勢8:工業大資料成為工業網際網路發展的重要引擎

工業大資料是指在工業領域資訊化應用中所産生的大資料。随着工業資訊化的進一步發展，工業企業也進入了網際網路工業新的發展階段。資訊技術和大資料分析技術滲透到了工業企業産業鍊的各個環節，條形碼、二維碼、rfid、工業傳感器等技術在工業企業得到廣泛應用，工業企業所擁有的資料也日益豐富，進而進一步形成了工業大資料。工業裝置所産生、采集和處理的資料量非常大，而且非結構化資料也非常多。是以，工業大資料的處理和有效挖掘也成為重要的課題。工業大資料應用将成為工業企業創新和發展的重要引擎。

工業大資料在工業企業有諸多方面的應用：

(1)在産品創新方面，企業可以對客戶使用産品過程中的行為進行資料上報及分析，以了解客戶需求和行為，進而啟發創新;

(2)在産品故障診斷與預測方面，企業可以對産品運作過程中的各種關鍵運作參數實時分析，以實作故障診斷和預測，如ge在航空發動機實作物聯網連接配接，通過傳感器把發動機運作時的各種關鍵參數實施回傳到雲端進行實時分析;

(3)在工業生産流程優化方面，利用大資料可以掌握某個流程是否偏離标準，快速發出報警及時調優;或監控生産過程中的能耗異常環節，進而進行能耗的優化;

(4)在工業生産故障分析及預測方面，通過智能傳感器等資料傳輸裝置，把工業生産流程中關鍵裝置的實時參數狀态回傳到雲端并進行實時分析，實時掌握異常情況，并作出預警和預測，提前進行檢測;

(5)在供應鍊優化方面，對市場資料、客戶資料、企業内部資料、供應商資料等相關供應鍊資料進行內建和關聯分析，以實作倉儲和配送的優化，提升生産和銷售的效率。

趨勢9：随着大資料的全方位發展，大資料安全機遇和挑戰并存

随着大資料的發展和落地，大資料的安全穩定也将會逐漸被重視。對于擁有大資料廠商來說，最大的挑戰就是資料安全;對于安全廠商來說，最大的機遇也是資料安全。網絡和數字化生活也使得犯罪的分子更容易擷取關于他人的資訊，也有更多的騙術和犯罪手段出現，是以，在大資料時代，無論對于資料本身的保護，還是對于由資料而演變的一些資訊的安全，對大資料分析有較高要求的企業将至關重要。

大資料安全是跟大資料業務相對應的，與傳統安全相比，大資料安全的最大差別是安全廠商在思考安全問題的時候首先要進行業務分析，并且找出針對大資料的業務的威脅 ，然後提出有針對性的解決方案。比如，對于資料存儲這個場景，目前很多企業采用開源軟體如hadoop技術來解決大資料問題，由于其開源性，但是其安全問題也是突出的。是以，市場需要更多專業的安全廠商針對不同的大資料安全問題來提供專業的服務。

另外，在大資料應用日益重要的今天，資料資源的開放共享已經成為在資料大戰中保持優勢的關鍵。商業資料、政府機構資料和個人資料的共享應用，不僅能促進相關産業的發展，也能給我們的生活帶來巨大的便利。但是，制約我國資料資源開放和共享的一個重要因素是政策法規有待進一步完善，開放與隐私保護如何平衡。如何在推動資料全面開放、應用和共享的同時有效地保護公民、企業隐私，逐漸加強隐私立法，将是大資料時代的一個重大挑戰。

趨勢10：大資料人才需求增多，越來越多的機構參與到大資料人才培育中

一個新行業的出現，必将在工作職位方面有新的需求，大資料的出現也将推出一批新的就業崗位，例如，大資料分析師、資料管理專家、大資料算法工程師、資料産品經理等等。具有豐富經驗的資料分析人才将成為稀缺的資源，資料驅動型工作将呈現爆炸式的增長。

而由于有強烈的市場需求，高校也将逐漸開設大資料相關的專業，以培養相應的專業人才。企業也将和高校緊密合作，協助高校聯合培養大資料人才。如ibm 全面推進與高校在大資料領域的合作，引入強大的研發團隊和業務夥伴，推動“大資料平台”和“大資料分析”的面向行業産學研創新合作以及系統化知識體系建設和高價值人才培養。

大資料建設的每個環節都需要依靠專業人員完成，是以，必須培養和造就一支掌握大資料技術、懂管理、有大資料應用經驗的大資料建設專業隊伍。目前大資料相關人才的欠缺将阻礙大資料市場發展。大資料的相關職位需要的是複合型人才，能夠對數學、統計學、資料分析、機器學習和自然語言處理等多方面知識綜合掌控。

未來，大資料将會出現約超過百萬的人才缺口，在各個行業大資料中高端人才都會成為最炙手可熱的人才，涵蓋了大資料的資料開發工程師、大資料分析師、資料架構師、大資料背景開發工程師、算法工程師等多個方向，是以需要高校和企業共同努力去培養和挖掘。

本文轉自d1net（轉載）