天天看點

揭秘!阿裡巴巴"大資料動态屏"系統

揭秘!阿裡巴巴"大資料動态屏"系統

北大cio開源興趣小組讨論總結:杭州之行,看阿裡,華三繁華,西子的妖媚,留下了腳印,也豐滿了見識,結下同學師生友誼。

當然我們終歸要回歸的我們企業自身,哪些東西我們cio可以借鑒,哪些東西我們可以去嘗試?

其中最吸引大家眼球的應該算 "大資料屏"了吧,是否考慮在企業中也建構一個類似系統?

讓我們行動行動,看看"大資料動态屏 (dynamic bigdata large screen) dbls" 背後的bigdata資料可視化技術。

如何在企業中建構阿裡巴巴動态螢幕?

揭秘!阿裡巴巴"大資料動态屏"系統
揭秘!阿裡巴巴"大資料動态屏"系統

資料大屏的對外價值和對内價值: 員工激勵,上司視察,友商考察。

系統架構:

揭秘!阿裡巴巴"大資料動态屏"系統

硬體部分:

從網絡上調查得到消息: 實時資料顯示的大螢幕拼接牆是由甯波gqy視訊股份有限公司提供。網站位址: http://www.gqy.com.cn/index.asp

前段軟體:

阿裡巴巴資料大屏使用的是基于flex建構的動态圖示,其中涉及需要相關軟體定制開發工作。

技術分類: flash,html5,原生代碼

==基于html5/javascript的工具包==

開源軟體包: 百度-echarts http://echarts.baidu.com/doc/example.html

其他html5補充: http://www.highcharts.com/

==基于flash的工具包: flex builder ==

商業軟體包:fusioncharts http://www.fusioncharts.com/

開源軟體包:open-flash-chart http://teethgrinder.co.uk/open-flash-chart/

其他補充:http://www.anychart.com/home/

後端軟體: 系統基于hadoop,storm,spark等背景大資料技術。

揭秘!阿裡巴巴"大資料動态屏"系統

技術提供商: 比如 紅象公司 www.redhadoop.com 美國: hortonworks cloudera mapr 三家。

後端資料: 資料由alibaba背景資料系統抽樣得到。擷取方法 alibaba taobao api , weibo api 等。

其他問題

==國内外那些公司開發有開源軟體,如何使用? ==

國外:

www.sf.net 最古老的開源軟體聚集托管地。

www.github.com 使用社交思路建構的代碼托管基地,現在最火爆。

www.apache.org 大資料開源軟體多來源于此。

國内:

http://www.oschina.net/ 開源中國社群

http://code.csdn.net csdn社群

http://code.taobao.org/ 淘寶開源

企業使用開源需要一定的開發背景,使用前最好有開發能力基礎。

企業那些場合需要利用hadoop軟體,對于企業技術實力有那些要求和項目投資?

當企業遇到tb級别資料需要快速處理,深度資料挖掘和分析多需要使用hadoop了。需要一定研發基礎。項目投入主要是開發和硬體投入。可以考慮使用阿裡雲降低前期硬體投入。

hadoop軟體和傳統資料倉庫分析和挖掘的差別?

核心理念是移動資料多,還是移動計算多。具體看大家資料規模。資料規模大的(tb級别),每天大量新增的。

企業是否需要建構私有雲?

不管黑貓,白貓抓到老鼠就是好貓。同樣不管私有雲和公用雲。關鍵還是能解決企業核心it問題。(成本,品質,時間,安全等)

基于企業自身業務對于 帶寬,硬碟,安全【xen,vmware,openstack】,還是需要混合雲,如果是網際網路應用,對于硬碟資源需求不大也可以考慮公有雲。學校由于,使用率,場地,教學,環境複雜,保護卡等問題。考慮建設私有雲居多。

原文釋出時間為:2014-05-03

本文來自雲栖社群合作夥伴“大資料文摘”,了解相關資訊可以關注“bigdatadigest”微信公衆号

繼續閱讀