天天看點

庚頓新一代雙活高可用架構實時資料庫為流程工業核心業務保駕護航

作者:庚頓資料

新一代雙活架構高可用架構實時資料庫管理系統可實作流程工業資料平台“零中斷”、“零丢數”的超高可用性要求,在滿足實時性要求的同時,實作斷網/掉電時業務不中斷、不丢數,突破傳統主備架構。

庚頓新一代雙活高可用架構實時資料庫為流程工業核心業務保駕護航

随着生産生活自動化、數字化、資訊化水準不斷更新,能源供應側可靠性要求越來越高,尤其發電企業,電壓等級提高,生産規模擴大、生産連續性增強,實時監視、控制、管理水準日益精細化,通過海量實時資料反映系統運作狀态已經成為發電企業不可或缺的管理手段。衆所周知,實時資料記錄着各個控制點的實時資訊,采用實時資料庫管理系統管理海量實時資料已經成為發電企業的不二之選。經過20多年的探索實踐,實時資料庫管理系統已成為各類發電企業工業資料平台的必備核心基礎軟體。

作為資料庫系統發展的分支之一,實時資料庫主要應對不斷更新快速變化的實時資料及具有時間限制的工業事務處理。是以,和其他通用資料庫不同之處在于,實時資料庫技術不止是資料庫,而是工業技術、實時技術、資料庫技術以及先進的IT技術深度融合的産物,是一套包括資料采集、資料存儲、資料計算和資料可視化的工業資料管理系統,管理工業資料從産生到應用的全生命周期,是工業企業資訊系統的工業資料管理底座,是工業數字化、資訊化和智能化的基礎核心軟體。

實時資料庫專門解決工業實時資料采集、存儲和應用問題,融合各種先進技術和優化架構設計,通過提高效率來處理大規模實時資料的同時帶來系統性能的提升,包括更精準的資料采集、更高的容納率、更快的大規模查詢、更好的資料壓縮以及更有效率的資料應用支撐。

1.傳統主備架構的局限性

實時,意味着實時資料庫管理系統必須能夠不間斷地提供服務,而以高可用的實時資料庫管理系統架構設計的核心準則建立相應的備援機制,才能保障全天候24小時不間斷運作,避免某台機器宕掉時無法正常通路實時資料庫。

庚頓新一代雙活高可用架構實時資料庫為流程工業核心業務保駕護航

2.新一代雙活實時資料庫的優勢

在所有高可用架構中,雙活架構級别最高、最複雜、最難以實作。兩台主機同時接收寫入資料,将寫入的最新資料實時同步給對方的同時,兩台主機不但需要将資料進行雙向複制,還必須保障極低的資料延遲、極快的故障自動恢複以及完整一緻的資料品質等。所有這些動作,隻能通過資料庫核心的深度改造才能實作。對所有第三方高可用軟體而言,實時資料庫雙活架構幾乎是無法做到的挑戰。

北京庚頓資料科技有限公司(以下簡稱“庚頓資料”)自主研發的原生支援雙活高可用架構實時資料庫管理系統,大幅提升系統容災能力,全面提高系統可用性,保障業務持續可用,可用性名額逼近99.99%。

庚頓新一代雙活高可用架構實時資料庫為流程工業核心業務保駕護航

新一代實時資料庫的創新雙活架構,指兩台機器同時扮演雙主角,共為主機,同屬從機。兩台機器同時提供完整的讀寫服務,無需切換,可随機調用任何一台;一台主機當機了,另一台主機繼續服務。如圖2所示。

需求為王。為滿足特殊系統極為嚴苛的故障切換時間要求,從立項到完成,庚頓資料花費了兩年多的時間最終完成實時資料庫雙活版本的研發、測試及首次應用。庚頓資料研發團隊在資料庫核心中增加專用于雙活資料庫同步的Replication子產品,負責及時同步中繼資料、實時資料和補寫的曆史資料;在故障恢複時采用CheckPoint技術進行自檢,定位故障期間缺失的資料并從另一節點同步恢複資料;在用戶端API中與資料庫建立雙連接配接,雙活資料庫任一節點都可提供讀寫服務,當遇到網絡或節點故障時,用戶端可以實作毫秒級無擾切換,確定讀寫資料零丢失。雙活架構的突出優勢包括:

無縫遷移:原有應用層通路單機或主備實時資料庫時,無需改動任何代碼,即可自然過渡到基于雙活高可用架構的實時資料庫管理系統;

資料零丢失:采用連續保護模式,即CDP(Continuous Data Protection,持續資料保護)模式,可以完全消除備份視窗,RPO(Recovery Point Object 恢複點目标)為零,這是真正意義上的持續資料保護,完全滿足使用者“資料零丢失”需求;

業務連續:資料庫雙活表征兩個資料庫節點同時運作且同時提供服務,兩個節點互為主備,服務端采用實時/曆史資料雙向即時同步方案,搭配用戶端API采用雙鍊路保持+故障瞬時切換方案,實作資料實時備份、實時恢複,確定了任一節點故障時,剩餘節點可瞬間接管所有業務,極大縮短RTO(RecoveryTime Object 恢複時間目标),恢複時間小于1秒。

庚頓新一代雙活高可用架構實時資料庫為流程工業核心業務保駕護航

圖2:新一代實時資料庫管理系統雙活架構示意圖

3.新一代雙活實時資料庫實作原理

雙活高可用架構下的新一代實時資料庫管理系統包括資料庫服務子產品、應用程式程式設計接口(Application Programming Interface,以下簡稱API)子產品。

新一代實時資料庫服務子產品包括實時資料庫1以及實時資料庫2,資料庫劃分為網絡通信和資料存儲,網絡通信是将API的資料寫入和查詢請求轉發給資料存儲,資料存儲管理所有資料。如圖3所示。

下圖為雙活架構示意圖:

庚頓新一代雙活高可用架構實時資料庫為流程工業核心業務保駕護航

圖3:雙活高可用架構的新一代實時資料庫管理系統簡化模型

應用程式可以通過API連接配接資料庫服務子產品,API在雙活狀态中的資料庫1或者資料庫2中按選主政策選取一個擔任主資料庫并成為優先通路資料庫,同時自動将沒有選取為主資料庫的資料庫标記為備資料庫。

當正常狀态下寫入資料時,應用程式将寫入的資料包發給API,API将資料包寫入主資料庫内,當寫入成功時,主資料庫回報寫入成功信号,主資料庫向備資料庫同步資料包,該過程是異步方式,故寫入性能相比于單機/主備架構沒有降低。

當正常狀态下查詢資料時,應用程式将查詢請求發給API,API将查詢請求發給主資料庫或者備資料庫,收到查詢請求的資料庫傳回資料包給API,由于兩個資料庫服務之間進行了查詢請求負載均衡,相當于利用了兩台伺服器資源提供服務,故查詢性能要優于單機/主備架構。

當系統遇到故障時,需要處理各種情況。如:應用程式通過API與主備資料庫同時建立連接配接,遇到連接配接故障時可實作主備切換時零延遲,省掉建立連接配接的時間;通過API内緩存最近資料,可實作切換後備資料庫收到故障瞬間未來得及同步的資料,確定零丢數;通過雙機資料庫的網絡通信子產品之間建立雙向連接配接,可實作資料在入庫存儲和資料同步并行處理,避免阻塞。

當一個伺服器節點被斷網/停機/斷電一段時間後,再啟動伺服器,需要經過一系列處理達到資料一緻後才能對外提供服務。

資料恢複方法包括以下步驟:

1) 故障恢複的作為備資料庫,備資料庫的資料存儲子產品先與主資料庫的資料存儲子產品建立連接配接;

2) 備資料庫掃描本地磁盤上存儲資料在故障停止前記錄的最終時間戳,擷取主資料庫目前時刻存儲資料記錄的最新時間戳,依據這兩個時間戳确定需要恢複資料的時間範圍;

3) 備資料庫的資料存儲子產品從主資料庫的資料存儲子產品擷取資料并儲存到本地磁盤;

4) 在備資料庫恢複磁盤資料的期間,主資料庫的網絡通信子產品緩存這期間入庫的資料,待備資料庫的資料存儲子產品恢複資料後,備資料庫的網絡通信子產品開始接收主資料庫的網絡通信子產品緩存資料,直到備資料庫完全與主資料庫保持實時同步,備資料庫開始對外提供資料服務。

4.新一代雙活實時資料庫應用案例

目前新一代雙活高可用實時資料庫已經應用于某核電集團、某大型發電集團火電領域,對于開展智慧化營運、運維基礎資料治理、加強知識管理、保障資訊系統穩定運作等工作起到重要支撐作用。

某核電DCS系統資料中心化多子網網絡結構中,每個子網内每對雙機備援通信伺服器内部署一對雙活高可用實時資料庫,存儲本子網内的全部上百萬标簽點的實時資料及近期熱資料。上層一對雙機備援存儲伺服器部署一對雙活高可用實時資料庫,存儲系統内全部需要長期存檔标簽點的曆史資料。DCS系統内工程師站、操作員站、計算伺服器、組态伺服器等業務應用可以高效通路任意子網的實時資料和曆史資料。如圖4所示。

庚頓新一代雙活高可用架構實時資料庫為流程工業核心業務保駕護航

圖4:網絡結構示意圖

每一對雙活高可用實時資料庫都經過破壞性測試,比如任意單機掉電、任意單機斷網、任意單機停庫、連續50次交叉掉電、連續50次交叉斷網、任意網線插錯等造成的系統故障。當一台實時資料庫不可用時能自動進行切換,讀寫另一台實時資料庫,保證資料庫服務的可靠性,切換期間資料不丢失,切換耗時小于15ms,遠小于DCS系統最小資料重新整理周期,對業務連續性無任何影響。

5.新一代實時資料庫的應用價值

新一代實時資料庫管理系統創新融合了等等,在國外壟斷的核心技術領域突破了卡脖子重圍,實作了完全的自主創新,通過使用者共創,完成了大量實踐和長期檢驗,在提高工業資料管理能力的同時,為企業數字化、資訊化和智能化建設做出了重大貢獻。

雙活架構在實時資料庫管理系統中的創新融合,進一步提升了實時資料庫的高可用,為發電企業為代表的電力工業資料采集、流轉、存儲、分析、應用、查詢的全生命周期提供了堅強的基礎保障,進一步提升了資料安全管理水準及生産安全水準,為資料進階應用提供了堅強的資料底座,提升了發電DCS系統的穩定性、可靠性,夯實數字化轉型基礎的同時,推進了國産化替代的偉大程序。

數字化轉型時代需要深度管理和挖掘更有價值的資料,是以新一代雙活高可用實時資料庫為後期業務系統擴充、功能完善提供了更加先進、安全、可靠的資料基礎支撐,是進一步釋放資料“倍增效應”的前提條件,促進了資料資産化創造顯著經濟效益的程序。

庚頓新一代雙活高可用架構實時資料庫為流程工業核心業務保駕護航

繼續閱讀