資料采集新形态-全球加速

資料驅動之資料采集

資料驅動早已不是什麼新概念，現在我們聽說過的網際網路公司無一不是資料驅動類型的公司，資料的重要性直接關乎企業的命運。資料驅動一般分為4個步驟的循環：資料擷取、資料分析、資料應用和資料回報。

其中種類最多、工作最繁瑣的當屬資料擷取，每個業務方根本沒有人力物力單獨建設一套完整的日志采集系統。阿裡和Facebook、Netflix、LinkedIn等公司一樣，都已将日志采集作為公司的基礎設施進行建設和維護。

全球化資料采集的新挑戰

建設一套完備的日志采集基礎設施并不簡單，尤其在全球化逐漸普及的今天，我們需要去面對各種各樣的應用類型、用戶端類型、資料類型、網絡條件、地域限制、資料安全性、合規性等等問題。

其中有兩項工作最繁瑣和艱難：

繁瑣主要展現在需要建設各種各樣的資料采集手段，包括服務端采集Agent、移動端采集SDK、IOT/智能裝置采集、網頁、應用程式、資料庫、關聯應用等，每項工作看似簡單，但都是資料采集必不可少的環節。
艱難展現在全球化資料網絡的建設，現在更多的資料在端裝置中産生，無論是手機、攝像頭、智能音箱、穿戴裝置等等，而端上産生的資料對于使用者行為分析也至關重要。但對于分布全國、全球各個角落的端裝置，我們面對着營運商鍊路、偏遠地區網絡品質、跨洋資料傳輸、鍊路品質波動、劫持等等問題，這些并不是簡簡單單軟體層面能夠解決的問題，更多的需要對整個網絡硬體的投入。

上圖為某短視訊的下載下傳延遲和可用性基準測試結果

作為使用者最終的目标是為了分析資料。但這些問題的存在，需要消耗大量人力、精力和物力，幹了不一定幹得好。

而阿裡雲日志服務（SLS）就是一款專門解決日志采集、處理、分析的開箱即用型産品，本篇文章我們把重點放在如何基于日志服務把全球化資料采集做的又全、又快，更關鍵的是省時、省力、省錢。

采集端建構

日志服務提供

30+種開箱即用的資料采集手段

，包括直接和雲産品打通的日志、移動端、服務端、程式、SDK、網頁、嵌入端等。在之前的一篇

全方位資料采集

中，我們對各種日志采集方式進行了全方位的介紹。

概括起來，這些采集特點與試用場景如下：

方式	應用場景	目前規模	優勢
Logtail	X86伺服器采集	百萬-千萬	功能強
Android/IOS SDK	移動端資料采集、手機、POS機等	千萬DAU	斷點續傳
C Producer Library	硬體資源受限的系統（如 IoT、嵌入式、RTOS等）	千萬-億級	資源消耗低
Web Tracking	網頁靜态資料采集		輕量級，無驗證

采集加速通道

近期日志服務聯合阿裡雲CDN推出了一款

全球資料上傳自動加速

方案：“基于阿裡雲CDN硬體資源，全球資料就近接入邊緣節點，通過内部高速通道路由至LogHub，大大降低網絡延遲和抖動 ”。

該方案有如下特點：

全網邊緣節點覆寫：全球1000+節點，國内700+節點，分布60多個國家和地區，覆寫六大洲
智能路由技術：實時探測網絡品質，自動根據營運商、網絡等狀況選擇最近接入
傳輸協定優化：CDN節點之間走私有協定、高效安全
使用便捷：隻需1分鐘即可開通加速服務，隻需切換到專屬加速域名即可獲得加速效果