天天看點

公網資料采集比較(LogHub vs 自建前端機)

對一些應用場景而言,需要實時收集公網資料,例如移動端,html網頁,pc、伺服器、硬體裝置、攝像頭等實時資料進行處理。

公網有移動端、外部伺服器、網頁和裝置資料進行采集。采集完成後需要進行實時計算、資料倉庫等資料應用。

公網資料采集比較(LogHub vs 自建前端機)

由kafka不提供resful協定,更多是在叢集内使用。是以一般需要架設nginx伺服器做公網代理,再通過logstash、或api通過nginx寫kafka等消息中間件。

需要設施為:

設施

數目

配置

作用

價格

ecs伺服器

2台

1核2gb

前端機、負載均衡,互備

108 元/台*m

slb

1台

标準

按量計費執行個體

14.4 元/month (租賃) + 0.8元/gb (流量)

kafka / zk

3台

資料寫入并處理

通過mobile sdk、logtail、web tracking js直接寫入loghub endpoint。

loghub

實時資料采集

場景1:一天10gb資料采集,大約一百萬次寫請求。( 這裡10gb是壓縮後,實際前資料大小一般為50gb-100gb左右)

場景2:一天1tb資料采集,大約一億次寫請求

從以上兩個場景可以看到,使用loghub進行公網資料采內建本是非常有競争力的。除此之外,和方案1相比還有其他優勢:

彈性伸縮:mb-pb/day 間流量随意控制

豐富權限控制:通過acl控制讀寫權限

支援https:傳輸加密

日志投遞免費:不需要額外開發就能與資料倉庫對接

詳盡監控資料:讓你清楚業務情況

豐富sdk與上下遊對接:和kafka一樣擁有完整的下遊對接能力,和阿裡雲及開源産品深度整合

繼續閱讀