H3C大資料産品介紹

1 産品簡介

H3C 大資料平台（Data Engine）采用開源社群 Apache Hadoop2.0 和 MPP 分布式資料庫混合計算架構為使用者提供一套完整的大資料平台解決方案，具備高性能、高可用、高擴充特性，可以為超大規模資料管理提供高成本效益的通用計算存儲能力。H3C 大資料平台提供資料采集轉換、計算存儲、分析挖掘、共享交換以及可視化等全系列功能，并廣泛地用于支撐各類資料倉庫系統、BI 系統和決策支援系統幫助使用者建構海量資料處理系統，發現資料的内在價值。

2 産品架構

華三大資料平台Data Engine的架構如下圖所示：

圖1 Data Engine産品架構圖

H3C 大資料平台包含 4 個部分：

第一部分是運維管理，包括：安裝部署、配置管理、主機管理、使用者管理、服務管理、監控告警和安全管理等。

第二部分是資料 ETL，即擷取、轉換、加載，包括：關系資料庫連接配接 Sqoop、日志采集 Flume、ETL 工具 Kettle。

第三部分是資料計算。MPP 采用分析型分布式資料庫，存儲高價值密度的結構化資料；Hadoop 存儲非結構化/半結構化資料和低價值密度結構化資料。計算結果都存到資料倉庫，資料倉庫中的資料可直接用于分析和展示。資料倉庫是面向主題的、內建的、穩定的且随時間不斷變化的資料集合，用以支援經營管理中的決策制定過程。

第四部分資料服務，包括：機器學習、資料挖掘、資料檢索、資料可視化、即席分析、SQL 和 API，為應用層提供服務和中間件調用。

3 産品管理

華三大資料平台Data Engine提供了web端的管理界面，叢集部署完畢後通路 https://ip:8443 即可通路管理平台。截圖如下所示：

圖2 Data Engine管理平台

從Data Engine管理平台頁面中左側清單可以看出，平台提供各種服務，包括系統服務，資料存儲，資料計算，資料服務，資料管理，MPP，以及其他服務。

其中系統服務中包括：Metrics，Kafka，Oozie，Slider，YARN，ZooKeeper，HUE。

資料存儲包括：HDFS，HBase，PostgreSQL，Redis。

資料計算包括：MapReduce2，Spark，Storm，Tez。

資料服務包括：ElasticSearch，HAWQ，PXF，Hive，Mahout，Pig，Solr，HBase Indexer，Drill。

資料管理包括：Flume，Kettle，Sqoop。

MPP包括：MPP。

其他服務包括：Zeppelin。