前奏:Storm實時處理架構(一)
hadoop 叢集搭建(一)
hadoop 叢集搭建(二)
hbase(一) 僞叢集搭建
自從AI的概念火起來之後,不玩玩實時 ,而隻知道離線處理資料,似乎已經不滿足現在對資料分析的要求了,深感逗比的同時,哥們還是淺淺介紹一下實時需要掌握的技巧和核心點,架構圖請自己畫切。
技術支援:
python + logstash + kafka + storm + hbase ( mysql )+ zookeeper + springboot + js + css + 高德map插件
核心要點:
python 分析熱資料到 logstash 格式化灌入 kafka ,storm 實時分析資料 落地 hbase 或 mysql, ui實時抽取實時資料表現到高德地圖中即可
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsICM38CXlZHbvN3cpR2Lc1TPB10QGtWUCpEMJ9CXsxWam9CXwADNvwVZ6l2c052bm9CXUJDT1wkNhVzLcRnbvZ2LcJTQE1EaoJzYwhnMMBjVtJWd0ckW65UbM5WOHJWa5kHT20ESjBjUIF2LcRHelR3LcJzLctmch1mclRXY39DM5cDOwMzM1EDMxkDM4EDMy8CX0Vmbu4GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.jpg)
心得: 面對實時性較強 (比如實時推薦、實時展現),而非離線操作的業務,甚至可以幹掉hbase以直接面向結果的方式進行 , 但是storm 處理完的結果 必須先落地到某個地方,再交給機器學習 ,如果不想落地咋辦? 此時可以采用 spark streaming & ml lib s[圖檔]park sql 結合的方式進行 流水式推薦 ,待下回分解。
想對AI有所建樹,不學python,隻是粗略掌握一套别人提供的架構,粗淺的開發開發就想裝個逼,哥們介意還是别在這上邊浪費時間了,
基于一通百通的原則,學資料架構會那麼一套兩套就差不多了,最重要的還是語言基礎和算法分析。
歡迎互粉交流 春叁十娘