天天看點

Tableau預測:自助式大資料分析時代正在來臨

對于大資料而言,2016年是具有裡程碑意義的一年,更多企業和機構在該年度存儲和處理各種形态和規模的資料,并從中提取有價值的資訊。

站在辭舊迎新的2017年伊始,tableau預測随着資料管控和保護系統以及大資料分析系統的日趨成熟,人們将要迎來自助式大資料分析時代。

hadoop的發展為自助式分析奠定技術基礎:速度更快、門檻更低,安全标準更高

作為一款大資料開發和運作處理的軟體平台,hadoop最初來源于谷歌的mapreduce程式設計模型包。該模型包可以把一個應用程式分解為許多并行計算指令,并實作跨計算節點運作海量資料集。得益于hadoop可靠、高效、可伸縮的資料處理方式,目前其已經成為大資料處理的主流軟體。而且,随着大資料處理的進一步發展,hadoop甚至可以為使用者提供速度更快、可重複性更高、更安全的資料探索分析,為自助式大資料分析時代的來臨奠定了技術基礎。比如,在使用sql-on-hadoop 引擎與 olap-on-hadoop 技術時,使用者已經很難對傳統資料倉庫和大資料世界進行區分。

此外,apache sentry系統的出現則為資料安全性提供了更多保障。該系統可對存儲在hadoop群集上的資料和中繼資料實施細化、基于角色的授權。apache atlas是資料治理計劃的一部分,它讓組織可以在整個資料生态系統中應用一緻的資料分類方法。而apache ranger則為 hadoop提供了集中式安全管理。

得益于嵌入式商業智能,分析已經無處不在

在過去的幾年間,企業已經越來越多地将資料分析融入日常工作流程,且常常将其嵌入其他應用程式(例如 salesforce)。在規模龐大的中國航空旅遊業,有成千上萬的商業航空公司、機場營運商、旅行社以及民航機構依賴中國航信,以便擷取業内商務情報和市場資訊。而中國航信每年都對航空市場的活動進行密切監測和分析。其監測範圍從航空乘客流量到旅遊網絡平台,幾乎無所不包。為此,中國航信的分析師密切關注着中國航空旅遊業的一舉一動,定期從将近10tb的資料中篩選資料,确認關鍵業績名額,并預測行業發展趨勢。而通過應用商業智能軟體,中國航信的總體工作效率提高了90%,使得其能以更快的速度對資料進行分析,為客戶及行業提供更及時的行業洞見。

2017年,分析将進一步得到普及,就像使用預測性分析在豆瓣fm上推薦音樂,或在京東上推薦商品一樣,之前不曾關注過大資料分析的人員,比如駕駛員、店員等,也可以享受到資料分析給工作帶來的便利。

自助分析擴充至資料準備階段

雖然自助式資料發現已經成為标準,但資料準備依然沒有走出it和資料專家群體。不過,這一情況将在2017年有所改變。高德納認為“已經颠覆商業智能和分析市場的易用性和靈活性趨勢同樣會在資料內建領域呈現”。資料解析、json和html導入以及資料整理之類的普通任務無需再配置設定給專家完成。不久之後,每個人都将能夠在自己的分析流程中處理此類任務。

人們開始以更加自然的方式處理資料

資料檢視方式已經取得了長足的進步。我們已經有了用直覺的拖放界面來取代腳本和資料透視表的技術,這些自然語言界面則成為了商業智能工具箱中的一款利器。作為中國骨幹航空運輸公司之一,中國東方航空公司目前在載客量方面已成為中國第二大航空運輸公司,而在市場價值方面則位居世界第三。為了進一步加強市場調研、優化直飛航線并增加營收,中國東方航空公司利用tableau對多種資料進行分析,并在六個月内開發了九個控制台,高效快捷地對營銷、各路航線營收等不同領域産生的資料進行分析。在2017,得益于自然語言處理和生成等方面的進步,資料界面将開始變得更加自然,進而讓人們可以使用自然文字和語言與資料互動,讓資料、圖表和儀表闆更加易于操作。

物聯網、雲和大資料的彙合為自助式分析創造新的機會

物聯網、雲和大資料的發展将産生大量結構化與非結構化的資料,并被越來越多地部署到雲服務中。僅就中國網際網路bat三巨頭中的騰訊一家來看,其資料中心的資料存量截止至2016年6月已經超過1000pb,并以每天500tb的速度飛速上升。當然,由于這些資料常常分散在如hadoop、nosql等不同系統,進而給資料通路與處理帶來不便。而可以無縫連接配接和合并多種雲端托管資料源的分析工具,則能夠讓終端使用者得以輕松對任何地點、任何類型的資料進行探索和可視化,進而幫助其發現物聯網中隐藏的機會。

上海貝爾股份有限公司是全方面電信解決方案的提供商。為了維護網絡安全和穩定,準确迅速地發現和解決潛在問題,上海貝爾股份有限公司專業服務創新總監柳卿博士及其團隊利用tableau及其它資料處理工具對衆多來源的資料進行分析。受業務性質影響,柳博士的團隊常常要同時處理結構化和非結構化形式的資料。這些資料屬于不同網絡應用,并有6種以上不同的來源。為此,團隊先通過splunk清理資料,之後導入tableau進行分析,實作對整個網絡的多角度審視,進而更輕松地對網絡全局進行控制和管理。

資料素養成為未來的一項基礎技能

2016年,領英将商業智能列為有利于求職的最熱門技能之一。而在其于同年釋出的基于中國網際網路行業人才大資料分析得出的報告則顯示,資料分析是目前最為稀缺的人才。2017年,随着大資料自助式分析時代的來臨,資料分析将同microsoft word、excel 和powerpoint一樣,成為各行業從業人員職業發展過程中的一項重要技能。面對這一發展趨勢,包括清華大學、複旦大學、上海交通大學等知名學府在内的衆多高校相繼成立了個大資料研究學院,積極開展大資料分析領域的科學研究和人才培育。

本文轉自d1net(轉載)

繼續閱讀