GaussDB在IoT大資料場景的創新實踐

近日，在深圳舉辦的ArchSummit全球架構師峰會上，華為GaussDB生态與标準CTO王偉民發表了“IoT大資料場景下華為GaussDB的資料處理實踐”主題演講，分享了大資料場景下華為GaussDB的資料處理實踐。

在資料爆炸式增長的時代，企業在進行海量資料分析與處理時面臨四大挑戰：

l 極緻的彈性擴縮容能力，滿足海量資料處理需求

l 系統具備極高的可用性，滿足7 24 365不間斷持續營運訴求

l 具備實時性分析能力，對服務體驗、精準的個性化服務要求不斷提高

l 基礎平台必須對應用開發友好，易管理易運維，滿足業務創新加速，且在運維營運、變更等方面具有可視化、智能化能力

面對這些挑戰，王偉民重點介紹了GaussDB的架構和關鍵特性，并通過三大案例介紹了GaussDB如何應對海量資料場景下面臨的挑戰、所應用的關鍵技術以及産生的業務價值。

PB級金融數倉遷移

GaussDB支撐某大行利用分布式數倉，對傳統架構的數倉進行改造、向雲化演進。該行的企業資料內建系統、企業資料倉庫系統均采用商業一體機解決方案，另有數十個面向不同主題的資料集市。

由于資料規模及計算能力的要求，本系統目前已達240節點。大叢集組網是分布式系統的一大關鍵挑戰，GaussDB通過TCP多流連結共享技術，突破了實體端口限制；同時整個叢集采用了“Fat-Tree”組網，來消除叢集内上行、下行帶寬瓶頸。

針對每日新增TB級資料的需求，GaussDB提供并行資料加載工具（GDS）提高資料加載速度。優化後單DN加載速度可達30MB/s，叢集可達到TB/h (視DN數有關）。極緻的加載速度是遷移PB級資料的關鍵能力，GDS并行加載性能業界領先，得到客戶高度認可。

面對企業數倉規模不斷擴大的需求，GaussDB能夠實作按需擴充，滿足業務增長對存儲和性能的要求，降低TCO。2018年9月，GaussDB成功實作跨園區資料無損搬遷。2018年12月，原資料倉庫系統100%搬遷。2019年6月30日，原資料倉庫全部下線。

平安城市多源資料、異構融合分析

GaussDB支撐某平安城市場景，該場景存在三大挑戰：多類型資料分析平台孤立建設，資料分散，無法拉通分析；受限于成本和架構，且随着資料量增加，擴容成本高；應對突發事件，需要實時對相關資料進行驗證，已有系統互動分析響應時間長。是以，亟需具備高成本效益、彈性可擴充、支援互動分析的平台。

在平安城市典型的“套牌車分析”場景中，某市有數千個智能卡口，集中存放約6000萬過車記錄。GaussDB在MPP并行計算架構基礎上，利用列存向量化技術，可以秒級完成套牌車分析。

平安城市中涉及到多源融合分析場景。GaussDB的SQL On Anywhere特性可實作不搬遷Hadoop原有資料即可使用數倉的分析能力。

“以圖搜圖”是平安城市的重要應用場景，GaussDB利用CPU/GPU異構加速分析，實作秒級“以圖搜圖”。

極緻高可用線上交易

“分布式線上交易資料庫”在新金融下的應用實踐。某零售銀行的業務模式從“網上銀行”過渡到“App銀行”時代。App銀行的月活躍使用者在8000萬~1億，為保證

買手機遊戲賬号

海量使用者的體驗，零資料丢失及高可用非常關鍵。

首先，業務關鍵型負載通常希望7 * 24不間斷服務，實作99.995%或99.999%的SLA，這意味着系統在零資料丢失前提下RTO盡可能小。GaussDB通過在同AZ（可用區）内的獨立伺服器或備機上設立全局緩沖池。在故障切換時，備庫通過通路全局緩沖池而不是磁盤擷取資料頁面進行前滾，大幅降低RTO。

其次，目前金融系統普遍采用“同城生産及應急、異地容災”的兩地三中心架構，以滿足監管要求。GaussDB引入了Paxos協定，用于分布式多副本的一緻性保障，一緻性仲裁決策路徑短，效率高。

三個真實業務案例，充分展示了GaussDB在PB級融合數倉、多模異構分析、極緻高可用交易資料庫的能力，助力金融、平安城市等各行業客戶實作業務創新。

截至目前，華為GaussDB和FusionInsight資料庫已經應用于全球60個國家及地區，服務于1500多個客戶，擁有500多家商業合作夥伴，并廣泛應用于金融、營運商、政府、能源、醫療、制造、交通等多個行業。根據資料中心聯盟最近釋出的第八批大資料産品評測結果，華為GaussDB率先通過了512節點分布式分析型資料庫基礎能力評測。