天天看點

Flink 的應用場景

在實際生産的過程中,大量資料在不斷地産生,例如金融交易資料、網際網路訂單資料、 GPS 定位資料、傳感器信号、移動終端産生的資料、通信信号資料等,以及我們熟悉的網絡 流量監控、伺服器産生的日志資料,這些資料最大的共同點就是實時從不同的資料源中産生, 然後再傳輸到下遊的分析系統。針對這些資料類型主要包括實時智能推薦、複雜事件處理、 實時欺詐檢測、實時數倉與 ETL 類型、流資料分析類型、實時報表類型等實時業務場景,而 Flink 對于這些類型的場景都有着非常好的支援。

1.實時智能推薦

智能推薦會根據使用者曆史的購買行為,通過推薦算法訓練模型,預測使用者未來可能會購 買的物品。對個人來說,推薦系統起着資訊過濾的作用,對 Web/App 服務端來說,推薦系統 起着滿足使用者個性化需求,提升使用者滿意度的作用。推薦系統本身也在飛速發展,除了算法 越來越完善,對時延的要求也越來越苛刻和實時化。利用 Flink 流計算幫助使用者建構更加實 時的智能推薦系統,對使用者行為名額進行實時計算,對模型進行實時更新,對使用者名額進行 實時預測,并将預測的資訊推送給 Wep/App 端,幫助使用者擷取想要的商品資訊,另一方面也 幫助企業提升銷售額,創造更大的商業價值。

2.複雜事件處理

對于複雜事件處理,比較常見的案例主要集中于工業領域,例如對車載傳感器、機械設 備等實時故障檢測,這些業務類型通常資料量都非常大,且對資料處理的時效性要求非常高。 通過利用 Flink 提供的 CEP(複雜事件處理)進行事件模式的抽取,同時應用 Flink 的 Sql 進行事件資料的轉換,在流式系統中建構實時規則引擎,一旦事件觸發報警規則,便立即将 告警結果傳輸至下遊通知系統,進而實作對裝置故障快速預警監測,車輛狀态監控等目的。

3.實時欺詐檢測

等,而如何保證使用者和公司的資金安全,是來近年來許多金融公司及銀行共同面對的挑戰。 随着不法分子欺詐手段的不斷更新,傳統的反欺詐手段已經不足以解決目前所面臨的問題。 以往可能需要幾個小時才能通過交易資料計算出使用者的行為名額,然後通過規則判别出具有 欺詐行為嫌疑的使用者,再進行案件調查處理,在這種情況下資金可能早已被不法分子轉移, 進而給企業和使用者造成大量的經濟損失。而運用 Flink 流式計算技術能夠在毫秒内就完成對 欺詐判斷行為名額的計算,然後實時對交易流水進行規則判斷或者模型預測,這樣一旦檢測 出交易中存在欺詐嫌疑,則直接對交易進行實時攔截,避免因為處理不及時而導緻的經濟損 失。

4.實時數倉與 ETL

結合離線數倉,通過利用流計算諸多優勢和 SQL 靈活的加工能力,對流式資料進行實時 清洗、歸并、結構化處理,為離線數倉進行補充和優化。另一方面結合實時資料 ETL 處理能 力,利用有狀态流式計算技術,可以盡可能降低企業由于在離線資料計算過程中排程邏輯的 複雜度,高效快速地處理企業需要的統計結果,幫助企業更好地應用實時資料所分析出來的 結果。

5.流資料分析

6.實時報表分析

繼續閱讀