對一些應用場景而言,需要實時收集公網資料,例如移動端,html網頁,pc、伺服器、硬體裝置、攝像頭等實時資料進行處理。
公網有移動端、外部伺服器、網頁和裝置資料進行采集。采集完成後需要進行實時計算、資料倉庫等資料應用。
由kafka不提供resful協定,更多是在叢集内使用。是以一般需要架設nginx伺服器做公網代理,再通過logstash、或api通過nginx寫kafka等消息中間件。
需要設施為:
設施
數目
配置
作用
價格
ecs伺服器
2台
1核2gb
前端機、負載均衡,互備
108 元/台*m
slb
1台
标準
按量計費執行個體
14.4 元/month (租賃) + 0.8元/gb (流量)
kafka / zk
3台
資料寫入并處理
通過mobile sdk、logtail、web tracking js直接寫入loghub endpoint。
loghub
實時資料采集
場景1:一天10gb資料采集,大約一百萬次寫請求。( 這裡10gb是壓縮後,實際前資料大小一般為50gb-100gb左右)
場景2:一天1tb資料采集,大約一億次寫請求
從以上兩個場景可以看到,使用loghub進行公網資料采內建本是非常有競争力的。除此之外,和方案1相比還有其他優勢:
彈性伸縮:mb-pb/day 間流量随意控制
豐富權限控制:通過acl控制讀寫權限
支援https:傳輸加密
日志投遞免費:不需要額外開發就能與資料倉庫對接
詳盡監控資料:讓你清楚業務情況
豐富sdk與上下遊對接:和kafka一樣擁有完整的下遊對接能力,和阿裡雲及開源産品深度整合