天天看點

實時資料處理也就這麼個玩法

前奏:Storm實時處理架構​​(一)

hadoop 叢集搭建(一)

hadoop 叢集搭建(二)

hbase(一) 僞叢集搭建​​​​​​​

自從AI的概念火起來之後,不玩玩實時 ,而隻知道離線處理資料,似乎已經不滿足現在對資料分析的要求了,深感逗比的同時,哥們還是淺淺介紹一下實時需要掌握的技巧和核心點,架構圖請自己畫切。

 技術支援:

        python + logstash + kafka + storm + hbase ( mysql )+ zookeeper + springboot + js + css + 高德map插件

核心要點:

    python 分析熱資料到 logstash 格式化灌入 kafka  ,storm 實時分析資料  落地 hbase 或 mysql, ui實時抽取實時資料表現到高德地圖中即可

實時資料處理也就這麼個玩法
實時資料處理也就這麼個玩法

心得: 面對實時性較強 (比如實時推薦、實時展現),而非離線操作的業務,甚至可以幹掉hbase以直接面向結果的方式進行 , 但是storm 處理完的結果 必須先落地到某個地方,再交給機器學習 ,如果不想落地咋辦? 此時可以采用 spark streaming & ml lib  s[圖檔]park sql 結合的方式進行 流水式推薦 ,待下回分解。

想對AI有所建樹,不學python,隻是粗略掌握一套别人提供的架構,粗淺的開發開發就想裝個逼,哥們介意還是别在這上邊浪費時間了,

基于一通百通的原則,學資料架構會那麼一套兩套就差不多了,最重要的還是語言基礎和算法分析。

歡迎互粉交流     春叁十娘

實時資料處理也就這麼個玩法

繼續閱讀