華為雲FusionInsight MRS：千餘節點滾動更新業務無中斷

摘要：滾動更新作為大叢集資料底座的必備能力，能夠完美解決了傳統大資料平台操作繁瑣、業務停機、更新成本高等問題，實作一個架構的持續演進，業務無中斷。

華為開發者大會2021（Cloud）大會期間，由華為技術專家天團打造的《名師大講堂》系列專題演講，圍繞雲原生、大資料、人工智能等話題，探讨技術創新帶來的價值，分享創新實踐。其中，華為雲FusionInsight解決方案架構師許田立，分享了“千級節點的大資料叢集如何無業務中斷更新”主題。

華為雲FusionInsight解決方案架構師許田立演講照片

随着5G、IoT技術的飛速發展，資料已成為重要的戰略資源。據預測未來4年資料量将激增4倍+，達180ZB，到35年呈50倍增長。同時，資料作為繼土地、資本、技術、勞動力的第5種生産要素，已是數字經濟發展的重要要素。但相關調查結果顯示，企業營運中僅56%的資料被存儲，僅32%的資料被利用。為應對呈指數級增長的資料資産，挖掘海量資料價值，政企客戶采用大規模資料底座的需求越來越迫切。

衆所周知，企業早期業務較小，各業務從資料內建到資料應用，系統自建，煙囪林立，伴随業務飛速發展，資料不統一、資料融合分析難、開發維護成本高等問題日益凸顯，煙囪式的資料體系演進達到瓶頸。

為突破以上瓶頸，挖掘資料價值，驅動業務增長，傳統煙囪式資料體系向統一資料湖架構演進，實作一緻的資料清潔，做到同名同義，統一資料标準；通過一套技術架構減少維護成本；采用樂高積木式的名額體系，提升開發效率；拉通資料實作跨域融合分析，帶來更多的業務創新。

立足于長遠，大叢集的資料湖架構不僅需滿足當下，更應具備可持續演進的能力。

從技術角度來看，大資料開源、開放技術仍在蓬勃發展，以前，駕馭大資料“三駕馬車”可轉遍大資料的池塘，現如今，大資料技術已發展成一片海洋，社群已具有100+開源項目，大資料技術創新進入深水區。現在大資料不僅限于Hadoop生态，已是多種主流資料處理技術的集合，在不同場景有着豐富的元件進行支撐。華為雲大資料技術與世界同步，積極擁抱開源，汲取全球頂尖大資料實踐經驗。

從業務角度來看，大資料平台承載了海量資料各業務分析場景，其中更涉及多個關鍵業務，如營運商的對内收入稽核、對外廣告精準投放，金融領域的反欺詐、精準營銷等場景，服務連續性要求高，7*24小時不中斷；如何讓大資料平台軟體保持最新保本，實作最優的平台參數，達到最快的問題解決速度？這些都對平台運維部門提出了極高的要求。

為了保持業務的連續性和技術引領，一個超大規模、高效率、可持續發展的資料底座顯得尤為重要，而不中斷業務的滾動更新能力則成為其中的必備能力。

華為雲FusionInsight MRS雲原生資料湖提供超大規模叢集，支援單叢集2萬+節點規模，并可聯邦無限擴容，同時，從500+節點叢集的标配開始，華為雲FusionInsight MRS雲原生資料湖已提供滾動更新能力，截止目前更新成功率為100%。

當然，滾動更新的成功并不是一蹴而就的，在其更新過程中也将面臨如下挑戰：

無處不在的相容性：HDFS作為一個分布式架構元件，涉及的跨程序的接口衆多，在中間狀态，涉及到新老版本互動的場景衆多，每一種組合都存在相容性問題；

可靠性：叢集規模達到一定數量後，叢集更新曆時需數天，更新過程中需要應對各種突發事件，例如硬體的磁盤故障、網絡擁塞等各種異常場景，面臨這些挑戰需要確定更新進度不受影響；

業務無中斷：大資料平台承載企業多場景應用，更新過程中，關鍵業務不允許中斷。

為了保障大叢集更新過程的平滑，華為雲FusionInsight MRS雲原生資料湖團隊提供了更新管理可視化服務工具，可以端到端分步驟的完成滾動更新，實作更新過程中的可視化控制和管理，并應對上述挑戰，主要做了如下處理：

在接口中增加版本号，新版本用戶端帶上版本号辨別；服務端提供兩種RPC實作入口，在入口處進行消息格式不相容的預處理，解決接口相容性問題；面對社群大版本變更導緻的不相容問題，通過多版本并存的方式，解決滾動更新對業務的影響；

為快速處理更新過程中出現的硬體故障，提供了故障節點隔離能力，在故障發生時，可以跳過該節點的更新動作，使得故障處理和更新可以有序進行；

為降低在更新過程中對關鍵任務SLA的影響，提供了滾動更新暫停的能力，關鍵作業或者作業高峰時段，無論是同一批次内還是多批次間，都可暫停更新動作，保障關鍵任務平穩執行。

滾動更新不僅是一個更新動作，更是一個系統工程，華為雲FusionInsight MRS雲原生資料湖從相容性、可靠性、工具自動化、保障團隊等多方面入手，注重細節，通過滾動更新助力政企客戶平台架構平滑演進。

工行大資料平台的Hadoop批量叢集已超過1000節點，日均處理作業10萬+，資料存儲數十PB，承載了全行重點批量作業，其中包括反欺詐、精準營銷等多個重要業務場景，服務連續性需求較高。而大資料技術疊代快，傳統更新方式需斷電、重新開機等操作，更新操作複雜，影響現網業務運作，且大叢集更新耗時長，突發故障易中斷更新動作。

大資料技術快速發展，為滿足業務變化發展需求，工行采用了華為雲FusionInsight MRS 滾動更新方案，借助于大資料核心元件的高可用機制， MRS按照依賴層次，多層次并行，在不影響叢集整體業務的情況下，一次更新/重新開機少量節點，依據元件和執行個體的依賴關系，自動編排更新批次。更新過程中，隔離故障節點，待更新完成後，再進行故障處理。循環滾動，直至叢集所有節點更新到新版本。

通過華為雲FusionInsight滾動更新能力，實作大叢集分批次滾動更新，業務0中斷；故障節點隔離功能確定更新動作的穩定運作，實作7*24小時不間斷服務；1000+精細化運維名額及可視化操作簡化運維，實作一個架構持續演進。

滾動更新作為大叢集資料底座的必備能力，完美解決了傳統大資料平台操作繁瑣、業務停機、更新成本高等問題，實作一個架構的持續演進，業務無中斷。同時，華為雲FusionInsight MRS雲原生資料湖還将持續創新，做大數字世界黑土地，攜手800+ISV為客戶提供持續演進的湖倉一體解決方案，可以在一個架構上實作離線資料湖、實時資料湖、邏輯資料湖，在千行百業構築“一企一湖，一城一湖”。

 本文分享自華為雲社群《華為雲FusionInsight MRS如何實作千餘節點滾動更新無業務中斷更新》，原文作者：沙漏。

點選關注，第一時間了解華為雲新鮮技術~