天天看點

資料湖驅動更大規模存儲,幫助互金行業釋放資料價值行業綜述行業發展方向面臨的痛點資料湖解決方案互金行業資料湖解決方案最佳案例實踐

行業綜述

線下金融行業疫情受挫,網際網路金融強勢崛起

網際網路+金融業務互相結合,誕生出了多種網際網路金融業務模式。尤其是2020年以來,由于疫情的影響,先下車金融機構被迫關閉,難以直接接觸使用者,使得傳統理财業務在銷售、售後等方面都受到一定的影響。而網際網路金融,以“無接觸”的特點,被大衆廣泛接受。

在近幾年,網際網路金融成為了市場新熱點,網際網路技術的發展,将無限種看似不可能達成的事,變成了現實。網際網路金融也從單純的“網際網路+金融業務”的模式,轉變為将網際網路技術與金融相結合,讓大資料推動金融業務發展的模式。

行業發展方向

互金行業勢頭正盛,六大行加緊技術部署

單單以網際網路汽車金融市場舉例,2018年,我國網際網路汽車金融的市場規模為3566.3億元。到了2019年,中國網際網路+汽車金融市場規模更是達到4438.4億元左右。

根據中國網際網路資訊中心資料,截至2019年6,我國線上理财使用者就已達1.69億人。而根據2019年六大行年報披露,六大行也已經開始重金布局金融科技。從投資金額來看,六大行在19年對網際網路金融方面的投資,高達634.96億元。從招納人才方面來看,2019年六大行招納金融科技類人才共達到8.064萬人。

面臨的痛點

大資料驅動下資料存儲成難題,資源浪費成難題

近些年來,随着網際網路金融,移動金融等新型金融形态的湧現,給金融傳統IT架構帶來了較大的沖擊與挑戰。

資料湖驅動更大規模存儲,幫助互金行業釋放資料價值行業綜述行業發展方向面臨的痛點資料湖解決方案互金行業資料湖解決方案最佳案例實踐

由于網際網路金融行業的逐漸成熟,以及各家金融巨頭在技術方面的發力,在未來金融行業的核心競争力将會依賴與大資料中提取資訊和知識的速度與能力。通過資料資産的挖掘,講資料資産轉化為産品創新,精準營銷和市場競争力。

同時,因為市場的沖擊和同業競争,現在銀行信用卡發夾時間從15天左右縮短到5分鐘;再如招行現在已可以提供30萬以下貸款的分鐘級放款,這些都是對銀行風控業務的重大挑戰。

随着網際網路金融,移動金融等新型金融業态的湧現,強化以“使用者為中心”是以如何同時為客戶和業務提供更好的服務模式将成為金融業的重要發展方向。

雖然網際網路金融行業日漸成熟,市場也在逐漸擴大,但是如果想要依托網際網路的技術來為自己的業務添磚加瓦,卻是有一定的門檻的。

資料湖解決方案

阿裡雲資料湖解決方案,助力企業真正釋放資料價值

資料湖驅動更大規模存儲,幫助互金行業釋放資料價值行業綜述行業發展方向面臨的痛點資料湖解決方案互金行業資料湖解決方案最佳案例實踐

基于阿裡雲對象存儲OSS建構的資料湖解決方案,可以全面滿足資料的存儲、離線分析、互動查詢等各種業務訴求,幫助解決上面提到的這些難題。

首先,資料湖解決方案可為使用者存儲的資料提供高達12個9的可靠性,讓資料安全存放,保障使用者資料不丢不壞。

其次,阿裡雲的資料湖解決方案,也是一套十分智能的解決方案。其中對象存儲OSS,可以對接個多業務系統,存儲來自不同業務系統的多種資料源,如些系統的原始資料、遊戲日志資料等。等資料彙聚到資料湖之後,它的上層系統可以相容多種計算引擎,如開源大資料引擎像Hive,Spark,阿裡雲EMR、DLA等,幫助使用者便捷地實作資料處理和分析,不需要再重複拷貝多份。同時采用 Jindofs提供緩存加速方案,還可以獲得比使用HDFS更好的體驗。           

這樣一套整體的資料存儲、處理分析解決方案,能很大程度地減少系統相容性問題,管理維護也更加簡單,幫助IT人員從複雜且繁瑣的運維中解放出來,更加專注在産品創新和業務模式的營運上。

資料湖驅動更大規模存儲,幫助互金行業釋放資料價值行業綜述行業發展方向面臨的痛點資料湖解決方案互金行業資料湖解決方案最佳案例實踐

首先,由于網際網路金融行業涉及到的資料類型較多,在資料源采集的方式和存儲方式方式上各不同,是以會形成資料孤島的現象,同一使用者的資料可能會有好幾種表現和存儲的方式。

完成資料收集階段後,就到了資料運算的階段。由于資料類型衆多,是以在進行運算時,就需要将不同類型的資料在孤島間互相拷貝,并轉換成相對應的資料形式,是以這也就大大減慢了資料處理的時間,造成了存儲資源、計算資源以及時間上不必要的浪費。

同時由于網際網路具備高時效性與高度開放性,系統可能會在某個時間段内,收到大量的使用者資料,如何高效地将這些資料加以篩選、留存、運算,成為了網際網路金融企業需要解決的痛點之一,是以如何搭建一個高效自動化的平台,也就成為各家企業迫切需要解決的問題。

互金行業資料湖解決方案

資料湖驅動更大規模存儲,幫助互金行業釋放資料價值行業綜述行業發展方向面臨的痛點資料湖解決方案互金行業資料湖解決方案最佳案例實踐

阿裡雲面向金融行業,基于對象存儲OSS建構了一個統一的資料湖。阿裡雲資料湖解決方案能夠從各種資料源沉澱資料,将資料進行統一治理,并且可通過阿裡雲EMR叢集,無縫對接各類計算引擎,展現資料最大化的價值。

首先基于雲存儲建構的資料湖天然具有很好的彈性伸縮能力,特别是在阿裡雲的節點及規模優勢基礎之上,能夠輕松應對業務指數級的擴容需求,平滑應對業務各類型波動及峰值。

其次,阿裡雲對象存儲OSS支援标準、低頻、歸檔三種存儲類型,覆寫熱、溫、冷的資料場景,結合生命周期管理功能,可以自動實作對資料的冷熱分層,很好實作對資料存儲的成本的管理。

同時阿裡雲對象存儲OSS打通了阿裡雲日志服務,使用者可一鍵将不同種類的日志服務投遞到阿裡雲對象存儲OSS上,将各種過程日志利用起來,讓日志也發揮自己的價值。

最後,在資料計算上面,阿裡雲資料湖解決方案采用EMR建構計算叢集,同時結合包括Hadoop、Hive、Spark、Presto在内的多種大資料産品。由于資料湖的存儲與計算解耦合架構,阿裡雲EMR叢集建立的ECS彈性計算執行個體,可以在計算任務完成後,就直接釋放,幫助互金企業能把更多的資源和精力放在搭建不同類型的業務資料模型上。而阿裡雲的雲原生資料湖分析DLA提供的Serverless 化的SQL(Presto)和Serverless 化的Spark引擎,job級别的彈性計算能力,使得使用者在使用計算資源時成本零浪費,幫助使用者集中精力專注于業務實作邏輯,快速實作資料變現,洞察資料價值。

最佳案例實踐

客戶簡介

國内某政策性銀行,需要上收下屬幾千家金融機構每天的資料資訊,進行篩查分析,統一存儲和排程。

業務挑戰

1、存儲規模達到百PB級别,大規模資料存儲耗時長且成本高

2、自建叢集成本過高,難以同步業務需求進行彈性拓展

3、資料類型不同,各類資料之間難以打通,發生資料孤島的現象

解決方案

針對該銀行對于資料存儲、收發能力、拓展能力、資料相容以及可靠性方面的要求,阿裡雲為其量身定制了一套資料湖解決方案。

資料湖驅動更大規模存儲,幫助互金行業釋放資料價值行業綜述行業發展方向面臨的痛點資料湖解決方案互金行業資料湖解決方案最佳案例實踐

1、在資料傳送和采集層,阿裡雲為其提供了SDK、API等傳輸工具,可将不同類型的資料傳輸到阿裡雲對象存儲OSS以及實時的數倉。而OSS作為資料的統一存儲層,能将全國各個金融機構的資料進行統一存儲管理和排程,并為其提供99.9999999999%(12個9)的資料持久性和99.995%的高可用性。

2、在資料計算與分析層,阿裡雲為客戶提供了由EMR建構的計算叢集,為其提供了豐富靈活且高性價的離線和線上處理模式,通過雲原生的計算引擎和其自建的服務,輕松支撐其每天TB級别的資料計算與分析。

客戶價值

為客戶的智能流量平台提供了成本效益極高的處理方案。

1、實作客戶所需要的全國各個金融機構資料能夠通過多種傳輸模式海量并發上收,統一存儲管理和排程,并通過EMR叢集進行高效的計算與分析。

2、将冷熱資料分層存儲,全流程業務日志資訊可留存,可分析,可告警。冷資料定期遷移到低成本OSS,新産生的熱資料傳遞到數倉分析應用,最大程度地降低資料存儲的成本

3、無須再擔心叢集因為容量不足的擴容難題,最大程度地提升應對業務峰值的能力