天天看點

一文帶你體驗MRS HetuEngine如何實作跨源跨域分析

作者:華為雲開發者聯盟

本文分享自華為雲社群《MRS HetuEngine體驗跨源跨域分析【玩轉華為雲】-雲社群-華為雲》,作者:龍哥手記。

一 場景完整描述

1.1 首先說明下

1)使用者通過登入Windows跳闆機,使用SQL開發工具DBeaver連接配接MRS叢集A的HetuEngine進行分析體驗

2)跨源分析體驗,通過HetuEngine0連接配接叢集内部資料源hive

3)跨源分析體驗,通過HetuEngine0連接配接叢集内部資料源hbase

4)跨倉分析體驗,通過HetuEngine0連接配接關系型資料庫DWS

5)跨湖分析體驗,通過HetuEngine0連接配接到MRS叢集B的HetuEngine1再連接配接到叢集B的資料源hive

一文帶你體驗MRS HetuEngine如何實作跨源跨域分析

二 登入環境并完成準備工作

2.1. 登入跳闆機

登入:http://121.13.226.78:18080/ssh/#/

① 使用者名:hdc01,

② 密碼:請聯系現場引導員擷取

一文帶你體驗MRS HetuEngine如何實作跨源跨域分析

2.2 登入認證軟體MIT Kerberos進行認證

點選右下角的MIT Kerberos,選擇Get Tickets輸入使用者名密碼擷取Kerberos認證票據

① Principal:[email protected]

② Password: Admin12!

2.3 打開SQL編輯器軟體DBeaver

一文帶你體驗MRS HetuEngine如何實作跨源跨域分析
一文帶你體驗MRS HetuEngine如何實作跨源跨域分析

2.4 檢視已配置好的MRS叢集A的HetuEngine連接配接

點選三角符号打開已配置好的HetuEngine連接配接

說明:

① dws: 外部dws資料庫

② hbase: MRS叢集A中的hbase資料源

③ hetu1: 遠端MRS叢集B的HetuEngine

④ hive: MRS叢集A中的hive資料源

一文帶你體驗MRS HetuEngine如何實作跨源跨域分析

三 體驗HetuEngine hive查詢性能提升

3.1 通過普通JDBC查詢MRS叢集A中的hive表

選擇配置好的hive資料源92-hive - New Connection,右鍵選擇SQL Editor

一文帶你體驗MRS HetuEngine如何實作跨源跨域分析

輸入以下SQL語句并檢視結果與時間

SELECT * FROM sales h1 WHERE h1.price >30;           
一文帶你體驗MRS HetuEngine如何實作跨源跨域分析

3.2. 通過HetuEngine查詢MRS叢集A中的hive表

選擇配置好的hive資料源92-HetuEngine - New Connection,右鍵選擇SQL Editor

一文帶你體驗MRS HetuEngine如何實作跨源跨域分析

輸入以下的SQL語句并檢視結果和時間

SELECT *  FROM  hive.default.sales h1 WHERE h1.price >30;           
一文帶你體驗MRS HetuEngine如何實作跨源跨域分析

3.3. 結論

通過比較兩次查詢時間,可以看到HetuEngine會加速查詢性能,比普通的hive查詢更加快速;

四 體驗HetuEngine跨源、跨倉分析能力

4.1 通過HetuEngine對MRS叢集A中的HBase進行跨源資料查詢

在打開的SQL Editor中輸入如下SQL語句查詢MRS叢集A的HBase資料

SELECT *  FROM  hbase.default.sales;           

4.2 通過HetuEngine對DWS叢集C進行跨倉資料查詢

在打開的SQL Editor中輸入如下SQL語句查詢DWS叢集C中的維表資料

SELECT *  FROM  dws.public.person;           
一文帶你體驗MRS HetuEngine如何實作跨源跨域分析

4.3. 體驗MRS叢集A的hive同DWS叢集C跨倉分析查詢

在打開的SQL Editor中輸入如下SQL語句可做MRS叢集A的hive與DWS叢集C的跨倉資料分析

SELECT h1.id,h1.price, h1.ops_region,h1.ops_user_id,d1.sex,d1.age  FROM  hive.default.sales h1 INNER JOIN dws.public.person d1 ON h1.ops_user_id=d1.ops_user_id WHERE h1.price >30;           
一文帶你體驗MRS HetuEngine如何實作跨源跨域分析

4.4 體驗MRS叢集A的hbase同DWS叢集C跨倉分析查詢

在打開的SQL Editor中輸入如下SQL語句可做MRS叢集A的hbase與DWS叢集C的跨倉資料分析

SELECT  h1.id,h1.price, h1.ops_region,h1.ops_user_id,d1.sex,d1.age FROM hbase.default.sales h1 INNER JOIN dws.public.person d1 ON h1.ops_user_id=d1.ops_user_id WHERE h1.price >50;           
一文帶你體驗MRS HetuEngine如何實作跨源跨域分析

4.5 下結論

出于管理和資訊收集的需要,企業内部會存儲海量資料,包括數目衆多的各種資料庫、資料倉庫等,此時會面臨資料源種類繁多、資料集結構化混合、相關資料存放分散等困境,導緻跨源查詢開發成本高,跨源複雜查詢耗時長。HetuEngine提供了統一标準SQL實作跨源協同分析,簡化跨源分析操作;

五 體驗HetuEngine跨湖分析能力

5.1 将MRS叢集A的HetuEngine連接配接到MRS叢集B的HetuEngine進行跨湖查詢

在打開的SQL Editor中輸入如下SQL語句可做MRS叢集B中HetuEngine的hive跨湖查詢

SELECT *  FROM  hetu1.hetu1_hive.sales;           
一文帶你體驗MRS HetuEngine如何實作跨源跨域分析

5.2 體驗MRS叢集B的HetuEngine同DWS叢集C跨湖分析查詢

打開SQL Editor輸入如下SQL語句可做MRS叢集B中HetuEngine的hive同DWS叢集C的跨湖查詢

SELECT  h1.id,h1.price, h1.ops_region,h1.ops_user_id,d1.sex,d1.age   FROM  hetu1.hetu1_hive.sales h1 INNER JOIN dws.public.person d1 ON h1.ops_user_id=d1.ops_user_id;           
一文帶你體驗MRS HetuEngine如何實作跨源跨域分析

5.3 結論

HetuEngine提供統一标準SQL對分布于多個地域(或資料中心)的多種資料源實作高效通路,屏蔽資料在結構、存儲及地域上的差異,實作資料與應用的解耦。

點選下方,第一時間了解華為雲新鮮技術~

華為雲部落格_大資料部落格_AI部落格_雲計算部落格_開發者中心-華為雲