北大cio開源興趣小組讨論總結:杭州之行,看阿裡,華三繁華,西子的妖媚,留下了腳印,也豐滿了見識,結下同學師生友誼。
當然我們終歸要回歸的我們企業自身,哪些東西我們cio可以借鑒,哪些東西我們可以去嘗試?
其中最吸引大家眼球的應該算 "大資料屏"了吧,是否考慮在企業中也建構一個類似系統?
讓我們行動行動,看看"大資料動态屏 (dynamic bigdata large screen) dbls" 背後的bigdata資料可視化技術。
如何在企業中建構阿裡巴巴動态螢幕?
資料大屏的對外價值和對内價值: 員工激勵,上司視察,友商考察。
系統架構:
硬體部分:
從網絡上調查得到消息: 實時資料顯示的大螢幕拼接牆是由甯波gqy視訊股份有限公司提供。網站位址: http://www.gqy.com.cn/index.asp
前段軟體:
阿裡巴巴資料大屏使用的是基于flex建構的動态圖示,其中涉及需要相關軟體定制開發工作。
技術分類: flash,html5,原生代碼
==基于html5/javascript的工具包==
開源軟體包: 百度-echarts http://echarts.baidu.com/doc/example.html
其他html5補充: http://www.highcharts.com/
==基于flash的工具包: flex builder ==
商業軟體包:fusioncharts http://www.fusioncharts.com/
開源軟體包:open-flash-chart http://teethgrinder.co.uk/open-flash-chart/
其他補充:http://www.anychart.com/home/
後端軟體: 系統基于hadoop,storm,spark等背景大資料技術。
技術提供商: 比如 紅象公司 www.redhadoop.com 美國: hortonworks cloudera mapr 三家。
後端資料: 資料由alibaba背景資料系統抽樣得到。擷取方法 alibaba taobao api , weibo api 等。
其他問題
==國内外那些公司開發有開源軟體,如何使用? ==
國外:
www.sf.net 最古老的開源軟體聚集托管地。
www.github.com 使用社交思路建構的代碼托管基地,現在最火爆。
www.apache.org 大資料開源軟體多來源于此。
國内:
http://www.oschina.net/ 開源中國社群
http://code.csdn.net csdn社群
http://code.taobao.org/ 淘寶開源
企業使用開源需要一定的開發背景,使用前最好有開發能力基礎。
企業那些場合需要利用hadoop軟體,對于企業技術實力有那些要求和項目投資?
當企業遇到tb級别資料需要快速處理,深度資料挖掘和分析多需要使用hadoop了。需要一定研發基礎。項目投入主要是開發和硬體投入。可以考慮使用阿裡雲降低前期硬體投入。
hadoop軟體和傳統資料倉庫分析和挖掘的差別?
核心理念是移動資料多,還是移動計算多。具體看大家資料規模。資料規模大的(tb級别),每天大量新增的。
企業是否需要建構私有雲?
不管黑貓,白貓抓到老鼠就是好貓。同樣不管私有雲和公用雲。關鍵還是能解決企業核心it問題。(成本,品質,時間,安全等)
基于企業自身業務對于 帶寬,硬碟,安全【xen,vmware,openstack】,還是需要混合雲,如果是網際網路應用,對于硬碟資源需求不大也可以考慮公有雲。學校由于,使用率,場地,教學,環境複雜,保護卡等問題。考慮建設私有雲居多。
原文釋出時間為:2014-05-03
本文來自雲栖社群合作夥伴“大資料文摘”,了解相關資訊可以關注“bigdatadigest”微信公衆号