大資料流式處理的演變

>作者：高二蛋

>

>來源：[恒生LIGHT雲社群](https://developer.hs.net/thread/1009 "恒生LIGHT雲社群")

随着抖音,快手等短視訊平台的興起,流式計算進入了大家的視線,各大公司使用流式計算根據使用者的行為偏好,在短時間内反映在推薦模型中，推薦模型再以低延遲的捕捉使用者的行為偏好,進而提供更精準、及時的推薦,這也就是我們刷抖音停不下來的原因;接下來就給大家介紹一下流式資料的前世今生:

第一種:

特點:實時性好,但是海量資料的時候,高并發就不行了;


第二種:

特點:高并發實作了,但是低延遲做不到


第三種:(最初第一代流式處理的架構)

* 特點:把目前計算處理過程當中,所需要的哪些東西,不要去關系型資料庫裡查了,直接把它存到本地狀态就行了;

* 缺點:無法滿足處理資料的有序性;


第四種:

優點:實作了實時性,低延遲;

缺點:維護起來比較麻煩,要同時維護兩套系統;

說明:這裡的speed table先擷取近似的資料以供粗略查詢;随後再檢視和batch table

結合後的準确資料;


第五種:

說明:就是用flink作流式處理,集合了所有的優點;