天天看點

雲小課|MRS基礎原理之Hue元件介紹

作者:華為雲開發者聯盟

本文分享自華為雲社群《【雲小課】EI第46課 MRS基礎原理之Hue元件介紹-雲社群-華為雲》,作者:閱識風雲 。

雲小課|MRS基礎原理之Hue元件介紹

閱識風雲是華為雲資訊大咖,擅長将複雜資訊多元化呈現,其出品的一張圖(雲圖說)、深入淺出的博文(雲小課)或短視訊(雲視廳)總有一款能讓您快速上手華為雲。更多精彩内容請單擊此處。

Hue是一組WEB應用,用于和MRS大資料元件進行互動,能夠幫助使用者浏覽HDFS,進行Hive查詢,啟動MapReduce任務等。它承載了與所有MRS大資料元件互動的應用。

雲小課|MRS基礎原理之Hue元件介紹

Hue主要包括了檔案浏覽器和查詢編輯器的功能:

  • 檔案浏覽器能夠允許使用者直接通過界面浏覽以及操作HDFS的不同目錄。
  • 查詢編輯器能夠編寫簡單的SQL,查詢存儲在Hadoop之上的資料。例如HDFS,HBase,Hive。 使用者可以友善地建立、管理、執行SQL,并且能夠以Excel的形式下載下傳執行的結果。

通過Hue可以在界面針對元件進行以下操作:

  • HDFS:

檢視、建立、管理、重命名、移動、删除檔案/目錄。

上傳、下載下傳檔案。

搜尋檔案、目錄、檔案所有人、所屬使用者組;修改檔案以及目錄的屬主和權限。

手動配置HDFS目錄存儲政策,配置動态存儲政策等操作。

  • Hive:

編輯、執行SQL/HQL語句;儲存、複制、編輯SQL/HQL模闆;解釋SQL/HQL語句;儲存SQL/HQL語句并進行查詢。

資料庫展示,資料表展示。

支援多種Hadoop存儲。

通過metastore對資料庫及表和視圖進行增删改查等操作。

如果使用IE浏覽器通路Hue界面來執行HiveSQL,由于浏覽器存在的功能問題,将導緻執行失敗。建議使用相容的浏覽器,例如Google Chrome浏覽器。

  • MapReduce:檢視叢集中正在執行和已經完成的MR任務,包括它們的狀态、起始結束時間、運作日志等。
  • Oozie:提供了Oozie作業管理器功能,使使用者可以通過界面圖形化的方式使用Oozie。
  • ZooKeeper:提供了ZooKeeper浏覽器功能,使使用者可以通過界面圖形化的方式檢視ZooKeeper。

Hue結構

Hue是建立在Django Python(開放源代碼的Web應用架構)的Web架構上的Web應用程式,采用了MTV(模型M-模闆T-視圖V)的軟體設計模式。

Hue由“Supervisor Process”和“WebServer”構成,“Supervisor Process”是Hue的核心程序,負責應用程序管理。“Supervisor Process”和“WebServer”通過“THRIFT/REST”接口與WebServer上的應用進行互動,如圖1所示。

雲小課|MRS基礎原理之Hue元件介紹

圖1 Hue架構示意圖

圖1中各部分的功能說明如下表所示。

雲小課|MRS基礎原理之Hue元件介紹

如何使用Hue

本示例中,我們在已開啟Kerberos認證的MRS 3.x版本的Hue WebUI編輯并執行HiveQL語句。

登入華為雲控制台,在服務清單選擇“大資料 > MapReduce服務”,單擊“購買叢集”,選擇“自定義購買”,填寫相關配置參數(以下為示例,可根據實際情況修改,未提及參數保持預設即可)。

雲小課|MRS基礎原理之Hue元件介紹

單擊“立即購買”,等待MRS叢集建立成功。

叢集購買成功後,登入FusionInsight Manager界面。

雲小課|MRS基礎原理之Hue元件介紹

由于FusionInsight Manager預設的admin使用者不具有元件的最高管理權限,我們首先登入FusionInsight Manager,建立一個人機使用者,并配置設定該使用者使用Hive的權限。

例如建立一個“人機”使用者“hueuser”,并加入“hive”、“hadoop”組和“Manager_administrator”角色,主組為“hive”。

雲小課|MRS基礎原理之Hue元件介紹

登入FusionInsight Manager,選擇“叢集 > 服務 > Hue”。

在“Hue WebUI”右側,單擊連結,打開Hue的WebUI。

雲小課|MRS基礎原理之Hue元件介紹

在左側導航欄單擊編輯器

雲小課|MRS基礎原理之Hue元件介紹

+0然後選擇“Hive”。

在“Database”右側下拉清單選擇一個Hive中的資料庫,預設資料庫為“default”。

系統将自動顯示資料庫中的所有表。可以輸入表名關鍵字,系統會自動搜尋包含此關鍵字的全部表。

在HiveQL語句編輯區輸入HiveQL語句。

create table hue_table(id int,name string,company string) row format delimited fields terminated by ',' stored as textfile;           

單擊▶開始執行HiveQL語句。

雲小課|MRS基礎原理之Hue元件介紹

在指令輸入框内輸入show tables;,單擊▶按鈕,檢視建立的表hue_table。

雲小課|MRS基礎原理之Hue元件介紹

點選下方,第一時間了解華為雲新鮮技術~

華為雲部落格_大資料部落格_AI部落格_雲計算部落格_開發者中心-華為雲

#華為雲開發者聯盟#

繼續閱讀