随着網際網路技術及移動裝置的普及，大量資料井噴式的産生和積累，如何有效地對海量資料進行計算及分析處理，将成為企業打通大資料與業務創新鍊路上的重要節點。
智能大資料平台USDP（UCloud Smart Data Platform ）是 UCloud 基于多年大資料平台開發經驗，自主研發的智能化、輕量級的大資料基礎服務平台，提供一站式大資料叢集管理和運維能力，能夠幫使用者快速建構起大資料的分析處理能力。USDP全面相容開源生态，輔助企業使用者快速實作大資料基礎平台的建設和控制管理；結合靈活可靠的部署方式，建構海量資料的流批一體及資料湖倉一體架構，實作對資料品質、可用性、可靠性、安全性等多方面的資料治理體系建設。
資料計算、分析、治理面對的挑戰
在新場景、新技術及新應用的推動下，資料量呈爆發式增長，在指數級增長的海量資料和類型多樣的資料形式下，給企業的大資料處理能力帶來了諸多挑戰，企業需要從資料采集、存儲、處理到資料展示及應用全鍊路建構或優化解決方案。
- 多源異構資料采集：針對資料源的結構化資料、半結構化資料、非結構化資料等多種資料源及資料類型，需要多種元件及工具進行多源異構資料內建。
- 流批一體化處理：全面運用大資料處理技術，由批處理場景演變為時效性更高的流處理場景，來保證業務決策的準确性和高效率，适應業務快速發展需要。
- 統一運維管理：為使資料驅動業務創新，面向不同場景需要快速建構并管理不同架構的大資料平台，讓資料無縫進行流通、計算、處理及分析利用。
- 國産化信創：随着中國資訊技術應用創新産業（信創）的快速發展，在積極參與信創産業發展的同時，大資料技術信創需求愈發凸顯。
六大産品優勢，快速建構大資料的分析處理能力
大資料業務系統作為企業資訊系統的重要組成部分，近些年來亦成為信創的關注焦點之一。針對私有化部署場景，UCloud推出的一站式智能大資料平台 USDP，可靈活建構于 IDC 實體伺服器、雲 IaaS 虛拟化，依托于自研的 USDP Manager 管理工具，實作對多套大資料叢集的管理，并可使使用者獨享大資料叢集。支援開源 Hadoop 全生态，進行叢集、服務、監控告警、故障診斷等智能化的運維和管理操作，進而協助使用者輕松建構和管理大資料業務分析處理能力。
随着 USDP 在諸多行業及客戶場景的運用，UCloud以使用者需求為導向，不斷完善産品設計和疊代更新， 全新推出智能大資料平台USDP 3.0，進行一系列功能及大資料生态更新，以更好地服務使用者的資料處理和分析需求。
USDP 3.0具有以下核心能力：
01
Web 控制台，輕松管理大資料叢集
USDP 集中化的管理控制台，在本次版本釋出中，增加了叢集管理視圖功能，該視圖使叢集管理者對整個叢集的服務狀态一目了然；并可采取便捷的管理措施調整，保證系統的高可用和穩定性。
在 USDP中，管理者可通過自動化向導的方式快速取得大資料服務對業務的支援；集中化的管理界面中，企業營運團隊可以便捷地控制和調整服務配置和資源配置設定，以及一鍵開啟/關閉 Kerberos，極大簡化配置和管理的複雜性；自動化向導支援快速部署叢集、擴充叢集主機、給叢集添加新的大資料服務，擴充服務執行個體等操作；結合預制的告警模闆和自定義告警，使使用者可以清晰掌握叢集和叢集中所有服務元件的運作狀況。
02
一鍵開啟或關閉 Kerberos 安全模式，為大資料服務的安全保駕護航
資料和服務的安全保障，一直是企業非常重視的問題。USDP 3.0具備大資料服務安全性保護能力，通過流程化配置，快速開啟對叢集服務的檢測，結合細粒度的權限控制能力，使得大資料叢集服務及資料的安全性整體上得到保護。
在 USDP 中，支援了向導化和自動化管理安全模式，通過 Kerberos 的運用，為叢集中的使用者、服務和主機提供身份認證和授權管理能力，其強大的安全性和跨平台支援特性，確定隻有經過身份驗證的使用者才能通路受保護的資源，為叢集免受未經授權的通路和攻擊提供了強有力的保護，幫助叢集實作高度的安全性和可靠性。叢集中的各個元件和服務（如 HDFS、YARN 等）可以通過 Kerberos 進行認證和授權管理，進而保護資料和應用程式的安全性。助力企業提升管理效率和資訊安全水準。
03
大資料叢集平滑更新，為需求更新提供有力支撐
叢集的持續平滑更新能力，是保障使用者基于該平台建構和管理的大資料服務，并獲得持續維護和更新的重要支撐，平台及服務的靈活擴充能力，是應對随業務需求不斷變化的架構優化的迫切需要。
企業在大資料相關業務方面的不斷拓展和深入，資料類型變得更加豐富，資料量級爆發式增長，對資料處理時效的需求不斷提高。是以，對于企業前期圍繞資料倉庫技術建構的大資料平台系統也帶來了更高要求，亟需進行系統性更新和技術架構拓展，以滿足企業業務持續發展的需要。
USDP 支援叢集的持續更新群組件特性等持續拓展。使用者可靈活選擇大資料平台架構，無論是數倉架構的優化、流式計算的引入，甚至向流批一體架構、湖倉一體等架構演進， 通過USDP 都能獲得支撐。
04
配置角色組管理，有效提升資源使用率和管理效率
角色組的功能，是将服務配置按執行個體角色類型配置設定給相應的角色組，組中各個角色繼承這個組配置，助力大規模分布式服務便捷管理；根據叢集主機環境、服務的特殊要求，為不同的主機或服務自定義配置設定不同的角色組，進而達到資源使用率和管理效率的有效提升。
05
UDH 更新及釋出，多版本可靈活選擇
UCloud 大資料元件發行套件，內建了豐富的開源項目，使企業可靈活建構一個功能先進的大資料系統；套件提供了強大的自動部署、管理和監控工具，便于使用者操作維護大資料叢集；套件中包含了更多的更新檔和功能特性，為分布式大資料系統提供穩定性和性能保障。本次 UDH v3.0.0 的釋出中，使其囊括的資料采集工具、流批計算引擎、排程系統、存儲系統等服務，可全面相容 Hadoop 3.3.4 版本生态。
06
宿主環境的修複能力，為運維人員減負
大資料叢集宿主環境的修複及初始化能力，大大簡化了基礎運維在搭建大規模叢集前，所需要進行的繁瑣的基礎設施環境準備工作；自動化修複工具良好的幂等性支援，能有效控制手動運維的出錯機率，極大地降低運維人員的工作量和維護成本，保障了系統穩定性、可靠性及安全性。通過工具自動化的能力實作快速部署、配置、更新等複雜操作，使使用者更加專注于資料分析業務的推進。
關鍵應用場景
1) 離線/實時數倉架構場景
離線數倉将資料從源系統中抽取出來，經過清洗、轉換和加載（ETL）等步驟，使資料按照一定的規則組織到資料倉庫中，再通過報表等方式對資料進行分析和挖掘。而離線數倉所擅長處理的大規模資料能力，卻不可避免的帶來一定的資料延遲性，而實時數倉解決了這一問題。
在實時數倉中，以實時或近乎實時的方式處理資料，将資料通過流式處理引擎（例如 Kafka、Flink 等）實時抽取、清洗、轉換和加載到資料倉庫中，再通過可視化工具等方式對資料進行實時監控和分析。基于USDP 中豐富的大資料技術的選擇，企業可根據自身的發展需要，靈活搭建并不斷優化整合自己的大資料平台架構，建構适宜的數倉架構場景。
2) 流批一體架構場景
流批一體架構的思想是将流處理和批處理整合在一起，提供更加全面和高效的實時資料分析能力。如使用 Flink 引擎及 Kafka 消息隊列等引擎和工具的組合架構，可以在實時資料流中進行複雜的事件驅動處理，并兼顧批處理任務。
依托于 Flink 引擎提供的豐富的流處理和批處理 API，和強大的狀态管理和容錯能力，使得流批一體架構可以更加可靠和高效地處理資料。在減少架構的複雜性和維護成本的同時，使企業達到更加靈活地處理資料的目的，并更好地适應業務需求的變化。而 USDP 中提供了豐富的大資料生态服務、工具和架構的支援，能很好幫助企業建構靈活且複雜的大資料處理架構。
3) 資料湖/湖倉一體架構場景
在将資料湖和資料倉庫的優點深度結合的“湖倉一體”資料架構中，以多種格式的資料統一存儲為基礎，可很好的避免資料備援和一緻性問題；統一高效的資料處理和清洗帶給資料品質和可用性有力保障；在該架構的支撐下，企業可開展如批處理、流處理、實時處理等多種模式的資料分析方式，借助 SQL 查詢分析、OLAP 分析、資料挖掘、機器學習來滿足應用的分析需求；通過該架構，更有利于企業實作資料的管理和治理，進而提高資料的可靠性和可信度。
Hadoop 生态系統、HBase、Hive 等存儲架構、Kafka 流處理平台、Presto 查詢引擎、Flink/Spark 等流/批處理架構、以及 Hudi、Iceberg 等引擎和存儲格式，正是建構湖倉一體架構所需要的，USDP 可以有效解決這些工具、架構和服務的互相相容問題，以及統一的管理和監控維護，給企業帶來豐富且便捷的支援，以滿足企業對資料的各種需求。
落地案例
USDP 智能大資料平台的釋出，将緻力于幫助企業快捷建構和管理大資料業務的分析處理能力，提升資料分析管理能力，釋放資料價值，驅動業務創新。當下 USDP 大資料平台已在多個行業客戶案例中落地，基于一站式資料處理能力，支撐使用者業務創新：
某能源行業大資料系統需要對電力資料進行采集和分析，對資料的采集頻度、精度及延遲要求較高，對于大資料基礎平台架構的穩定性和性能要求非常高。UCloud 為使用者提供優钛私有雲及 USDP 智能大資料平台，共同承載大資料分析處理和資料業務應用。如通過USDP 采集耗電資料，通過資料處理算法，對采集上來的異常資料進行修正，實作耗電趨勢分析，在不斷累積的資料基礎上，進行資料模型訓練，實作電量精準預測。
航天科技某研究所品質精益分析系統，基于科研産品研制過程資料，通過全鍊路生産資料的內建，打通資訊鍊，提供産品生産數字化履曆、品質問題複查、設計特性分析、可靠性量化評估、産品品質狀況異常等業務應用功能。采用 USDP 建構一站式大資料基礎平台，由源資料層、資料存儲層及資料處理分析層構成，進行資料內建、接入和預處理，結合資料分析和展現應用層實作資料的具體利用，發揮資料價值，提升産品研制的品質。
未來，USDP 大資料團隊将密切關注并緊跟大資料技術生态和趨勢，結合使用者需求和場景提供更多大資料場景元件和最佳實踐方案，為企業提供更多可靠、安全、可擴充的大資料分析處理功能。