Hbase迎接電信TB級大資料洗禮之熱點網站功能實踐

在今年年初的時候聯通王志軍院長就Hadoop在電信行業的大資料應用談了自己的經驗，随着3G網絡的發展中國聯通目前營運着世界上最大的CDMA網絡，流量營運是中國聯通一個重要特點。中國聯通3G套餐當中流量占比非常非常大，中國聯通3G使用者流量使用情況也是非常可觀的。那麼在3G網絡功能中上網沖浪占了很大的比例，去研究使用者感興趣的熱點網站成為了行為分析中很有特點的一項功能，聯通就可以根據這些網站資訊推出增值服務，古人雲：大浪淘沙始到金啊！

Hbase作為分布式的資料庫叢集是如何迎接大資料的洗禮呢！，我們之前使用的是Oracle資料庫作為存儲資料的基石，但當資料量迅猛上漲後許多的瓶頸馬上就會呈現出來，大量的

買QQ号碼平台

資料統計、分組、排序、過濾的操作對Oracle資料庫性能真是一個不小的挑戰，由于資料不能分布處理，資料的查詢速度可想而知。現在我們使用了Hbase資料庫就可以很好的解決上述的一系列問題。下面對如何實踐設計“熱點網站”功能給出了我的一些設想。

表設計：手機上網表 tel-net table 簡稱 t-n 表

ROW Key COLUMN+CELL

18977777777 column=msisdn:*#06#, timestamp=1351560318018, value=100

18977777777 column=msisdn:cellphone，timestamp=1351563680951, value=iphone-5

18977777777 column=sites:http, timestamp=1351560423739, value=www.dataguru.cn 登陸網站

18977777777 column=sites:name, timestamp=1351560476264, value=lianshuchengjin

18977777777 column=user:age, timestamp=1351560350911, value=28

18977777777 column=user:name, timestamp=1351560335833, value=leonarding

18866662222 column=msisdn:*#06#, timestamp=1351560560622, value=101

18866662222 column=msisdn:cellphone, timestamp=1351560540173, value=iphone-4

18866662222 column=sites:http, timestamp=1351560630783, value=www.dataguru.cn 登陸網站

18866662222 column=sites:name, timestamp=1351560664387, value=lianshuchengjin

18866662222 column=user:age, timestamp=1351560606783, value=26

18866662222 column=user:name, timestamp=1351560585193, value=sunev_yu

15911112222 column=msisdn:*#06#, timestamp=1351560873212, value=102

15911112222 column=msisdn:cellphone, timestamp=1351560851244, value=iphone-3

15911112222 column=sites:http, timestamp=1351562148765, value=www.itpub.net 登陸網站

15911112222 column=sites:name, timestamp=1351562171874, value=itpub

15911112222 column=user:age, timestamp=1351562118827, value=100

15911112222 column=user:name, timestamp=1351562102858, value=tigerfish

第一步：在一定時間範圍内找到所有手機經常上網的網址。

第二步：在map-reduce程式中進行統計和排名（由于手機号就是随機型的是以可以均衡的打散到各個節點執行）。

第三步：彙總結果後，把排名前20的熱點網站輸出，營運商就可以找到這些熱點網站進行合作推出更符合使用者傾向的套餐，大把大把的斂money。

後續還可以開發：使用者傾向性分析、TOPn大流量排名分析、使用者行為分析等等諸如此類的功能。

歡迎大家一起積極讨論，共創Hbase美好未來