華為雲FusionInsight MRS在金融行業存算分離的實踐

摘要：華為雲FusionInsight MRS的大資料存算分離解決方案，實作資源價值最大化，存儲與計算資源全面雲化、靈活配置、彈性伸縮，降本增效。

在大資料、雲計算、5G、AI等技術日新月異，數字經濟加速發展的背景下，資料成為新的生産資料，數字化轉型成為政企高速發展的關鍵。作為數字化轉型的先行者，金融行業利用大資料平台進行客戶體驗提升、精準營銷等業務。這些大資料平台在金融行業業務中發揮着至關重要的作用，但龐大的資料量也給他們帶來了新的挑戰，企業在大資料平台的建設及擴容方面每年均保持着一定規模的投入，降本增效的沖突在發展過程中進一步被放大；海量資料驅動業務靈活響應，傳統大資料平台從建設到落地的長周期，不利于業務的高速發展；平台建成後，維護、更新、擴容均以叢集為機關，管理離散，操作繁重。

傳統大資料平台建設采用存算一體的架建構設，在進行擴容時計算、存儲資源會同步擴充，在部分場景下造成了資源備援，使用率偏低。基于此，中國工商銀行（以下簡稱工行）聯合華為雲FusionInsight MRS落地大資料存算分離解決方案，實作資源價值最大化，存儲與計算資源全面雲化、靈活配置、彈性伸縮，降本增效。

存算分離實作成本降低60%

工行大資料平台批量業務普遍采用存算一體架構，原始資料、資料表、導出資料均存儲在本地HDFS，在現網部分批量叢集中，CPU使用率50%，而存儲使用率超過70%。

工行采用了華為雲FusionInsight MRS大資料存算分離方案，實作了大資料平台與OBS對象存儲服務的對接，将原有的HDFS資料無縫遷移到OBS上。在保證性能的前提下，實作了計算與存儲獨立按需擴容，輕松應對業務浪湧，提升資源整體使用率。

大資料存算分離演進示意圖

此次實踐不僅實作了計算與存儲資源的按需擴容，還在存儲、計算和易用性方面做到了最優。

存儲方面，工行原有大資料平台使用HDFS存儲資料，1:3的備份方式使得較多存儲空間被消耗，華為獨有的Flex-EC技術可将副本率降低至1:1.25，存儲資源優化提升2.4倍。在雲存儲性能上，單流性能達到300MB/s，為業界的3倍+。

計算方面，華為雲基于存算分離的大資料解決方案進行軟硬體垂直優化，充分利用自研處理器的高并發能力，提供晶片級的全棧自主優化能力，使用華為自研的作業系統EulerOS、華為JDK及資料加速層，充分釋放硬體算力，為大資料計算提供高算力輸出，實作高成本效益。在性能相當情況下，端到端的大資料解決方案成本下降。

易用性方面，華為雲OBS實作了原生POSIX語義，并補充了Append，hFlush/hSync、HDFS垃圾桶機制，rename原子操作性能，大幅領先業界同類産品。這些都使得使用者可以平滑、無感覺的從原有平台切換到存算分離平台。

叢集快速發放，業務靈活上線，運維省心省力

傳統大資料平台的群部署，依賴 “硬體->作業系統->組網->大資料平台”的部署模式，部署周期以周粒度計算，并涉及多個業務部門協同操作。針對擴容、業務遷移和後期運維，也是“一叢集一方案”的操作模式，工作量大，物料和人工成本都偏高。

工行聯合華為雲部署的存算分離大資料解決方案，全面相容主流的大資料生态，100%相容開源原生接口，結合周邊豐富的資料及應用遷移工具，基于MRS WrapperFS的特性，提供OBS的翻譯能力，相容HDFS到OBS的平滑遷移，快速完成大資料平台的平滑遷移至存算分離架構，整個遷移過程做到“代碼0修改，業務0中斷”。

雲端叢集快速發放特性，可以實作小時級叢集發放，提升效率數10倍，同時具備背景、前台和API接口三種任務送出模式，快速對接業務。針對後期擴容、運維場景，通過統一的運維管理平台， 對多個大資料叢集進行集中運維管理，并能夠實作資源的彈性伸縮和靈活擴容。

總結：

中國工商銀行大資料平台全面建構在IaaS雲之上，本次華為與工行聯合創新借助新一代華為雲底座進行存算分離架構試點工作，全面驗證了全新架構下的産品功能、技術水準和性能狀況，全方位評估存算分離架構的優缺點，總結經驗，積累技術實力，為後續工行大資料平台演進至下一代“存算分離”與“存算一體”協同混合架構打下堅實基礎，并為金融業大資料平台架構轉型提供成熟解決方案。

本次存算分離實踐順利實施标志着工行首次完成大資料體系由存算一體架構向“存算分離”與“存算一體”協同混合架構的轉型工作，全新的架構具有性能與成本最優，兼具靈活性、雲化集約管維的特點，能夠有效地支撐中國銀行業智慧化轉型，同時為全國金融同業大資料平台架構轉型實施提供參考。

本文分享自華為雲社群《華為雲FusionInsight MRS在金融行業存算分離的實踐》，原文作者：Sailing27 。

點選關注，第一時間了解華為雲新鮮技術~