前言
說到Apache頂級開源項目，大家首先會想到什麼？？？
不熟悉Apache軟體基金會的朋友也不用擔心，大家可以去Apache官網，下拉到最下邊的頁面，檢視Apache有哪些開源項目。
相信各位朋友在項目清單中肯定會看到不少熟悉的身影，
JavaEE
，
HTTP
,
FTP
,
Hadoop
,
SQL
,
Maven
,
Tomcat
,
Kafka
,
Hive
…這些幾乎我們天天都在打交道的
朋友
，竟然都是Apache頂級項目“家族”的一員。
也許你會有些遺憾，這些頂級項目都是由外國友人所貢獻的。但認真看了本期内容标題的朋友都應該期待着，接下來，我要為大家介紹的是正如題目所述，第一個由國人開發的Apache頂級項目——Kylin！
Kylin
誕生背景
目前大資料存在需要大量行為資料與使用者标簽資料的多元度的複雜分析統計場景，此場景同時有大量行為資料（事實資料）與多元度分析資料。需要在近實時查詢的情況下快速得到結果幫助公司進行分析和決策。
Kylin是中國團隊研發的，是第一個真正由中國人自己主導、從零開始、自主研發、并成為Apache頂級開源項目。它巧妙地将“Hive支援SQL靈活查詢，但速度特别慢”與“Hbase查詢性能快，但原生不支援SQL”的設計巧妙結合在了一起。Kylin先将資料進行預處理，将預處理的結果放在HBase當中，大大提高了查詢時的效率！
簡介
Apache Kylin 是一個開源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查詢接口及多元分析的功能，支援超大規模資料，最初由 eBay 開發并貢獻至開源社群。它能在亞秒内查詢巨大的 Hive 表。
架構
Kylin架構如圖所示
其中，Kylin 具有如下幾個關鍵元件。
1.REST Server
REST Server是面向應用程式開發的入口點，旨在完成針對Kylin平台的應用開發工作，可以提供查詢、擷取結果、觸發Cube 建構任務、擷取中繼資料及擷取使用者權限等功能，另外可以通過 REST API 接口實作 SQL查詢。
2.Query Engine
當Cube準備就緒後，查詢引擎即可擷取并解析使用者所查詢的問題。它随後會與系統中的其他元件進行互動，進而向使用者傳回對應的結果。
3.Routing
在最初設計時，設計者曾考慮将Kylin不能執行的查詢引導到Hive中繼續執行，但在實踐後發現，Hive與Kylin的查詢速度差異過大，導緻使用者無法對查詢的速度有一緻的期望，大多數查詢幾秒内就傳回結果了，而有些查詢則要等幾分鐘到幾十分鐘，是以，使用者體驗非常糟糕。最後這個路由功能在發行版中被預設關閉。
4.Metadata
Kylin 是一款中繼資料驅動型應用程式。中繼資料管理工具是一大關鍵性元件，用于對儲存在Kylin 中的所有中繼資料進行管理，其中包括最為重要的 Cube 中繼資料。其他元件的正常運作都需要以中繼資料管理工具為基礎。Kylin的中繼資料存儲在HBase中。
5.Cube Build Engine
Cube建構引擎的設計目的在于處理所有離線任務，其中包括 Shell腳本、Java API、MapReduce任務等。Cube Build Engine對Kylin中的全部任務加以管理與協調，進而確定每項任務都能得到切實執行并解決期間出現的故障。
Kylin的主要特點及說明如下。
- 支援标準SQL接口：Kylin以标準的SQL作為對外服務的接口。
- 支援超大規模資料集：Kylin對大資料的支撐能力是目前所有技術中較為領先的。早在2015年eBay的生産環境中就能支援百億條記錄的秒級查詢，之後在移動的應用場景中又有了支援千億條記錄的秒級查詢的案例。
- 亞秒級響應：Kylin擁有優異的查詢響應速度，這點得益于預計算，很多複雜的計算，比如，連接配接、聚合，在離線的預計算過程中就已經完成，這大大降低了查詢時刻所需的計算量，提高了響應速度。
- 高伸縮性和高吞吐率：單節點Kylin可實作每秒70個查詢，還可以搭建Kylin的叢集。
- BI工具內建。Kylin可以與現有的BI工具內建。
另外，Kylin開發團隊還貢獻了 Zeppelin 的插件，使用者可以使用 Zeppelin 通路 Kylin 服務。
應用場景
Kylin 典型的應用場景如下：
- 使用者資料存在于 Hadoop HDFS中，利用 Hive 将 HDFS檔案資料以關系資料方式存取，資料量巨大，在500G以上
- 每天有數G甚至數十G的資料增量導入
- 有10個以内較為固定的分析次元…
Kylin 的核心思想是利用空間換時間，在資料 ETL 導入 OLAP 引擎時提前計算各次元的聚合結果并持久化儲存。
原理為通過 hive 将海量資料通過統計轉化為多元度資料模型表（星型模型、雪花模型等），通過 Kylin 使用字典編碼（Dictionary-coder）将次元資料進行壓縮生成次元字典。然後将事實次元資料轉換為 Kylin 的 cube 資料模型，實作預計算，并可使用标準 SQL 查詢。
使用 Kylin 的公司
Kylin如今作為大資料業内十分熱門的“OLAP”引擎，在越來越多公司中得到“重用”！
具體在企業中是如何使用的，我就不在這裡贅述了，感興趣大家可以從以下連結去做學習了解。
https://www.jianshu.com/p/aae410e5a2fe 《Apache Kylin在美團數十億資料OLAP場景下的實踐》 https://www.sohu.com/a/240896646_659643 《實踐 | Kylin在滴滴OLAP引擎中的應用》
HBase安裝
在安裝 Kylin 前需要先安裝部署好 Hadoop、Hive、Zookeeper 和 HBase，并且需要在
/etc/profile
目錄下配置
HADOOP_HOME
、
HIVE_HOME
、
HBASE_HOME
環境變量，注意執行
source/etc/profile
指令使其生效。
（1）保證 Zookeeper 叢集的正常部署，并啟動它。
[[email protected] zookeeper-3.4.9]$ bin/zkServer.sh start
[[email protected] zookeeper-3.4.9]$ bin/zkServer.sh start
[[email protected] zookeeper-3.4.9]$ bin/zkServer.sh start
（2）保證 Hadoop 叢集的正常部署，并啟動它
[[email protected] hadoop-2.7.2]$ sbin/start-dfs.sh
[[email protected] hadoop-2.7.2]$ sbin/start-yarn.sh
（3）解壓 HBase 安裝包到指定目錄。
[[email protected] software]$ tar -zxvf hbase-1.3.1-bin.tar.gz -C /export/servers
（4）修改 HBase 對應的配置檔案
① hbase-env.sh 檔案的修改内容如下
export JAVA_HOME=/opt/module/jdk1.8.0_144
export HBASE_MANAGES_ZK=false
② hbase-site.xml 檔案的修改内容如下
注意：
- 修改HDFS NameNode節點名稱
- 修改zookeeper伺服器名稱
- 修改zookeeper資料目錄位置
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://node01:8020/hbase_1.3.1</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 0.98後的新變動，之前版本沒有.port,預設端口為60000 -->
<property>
<name>hbase.master.port</name>
<value>16000</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>node01,node02,node03</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/export/servers/zookeeper-3.4.9/zkdatas</value>
</property>
<property>
<name>hbase.thrift.support.proxyuser</name>
<value>true</value>
</property>
<property>
<name>hbase.regionserver.thrift.http</name>
<value>true</value>
</property>
</configuration>
③ 在 regionservers 檔案中增加如下内容
node01
node02
node03
④ 軟連接配接 Hadoop 配置檔案到 HBase
ln -s /export/servers/hadoop-2.7.2/etc/hadoop/core-site.xml $PWD/core-site.xml
ln -s /export/servers/hadoop-2.7.2/etc/hadoop/hdfs-site.xml $PWD/hdfs-site.xml
⑤ 将 HBase 遠端發送到其他叢集
[[email protected] servers]$ xsync hbase_1.3.1/
（4）配置 HBase 環境變量
# Apache HBase 1.3.1
export HBASE_HOME=/export/servers/hbase-1.3.1
export PATH=$HADOOP/sbin:$HADOOP/bin:$HBASE_HOME/bin:$PATH
重新整理環境變量
source /etc/profile
（5）啟動 HBase 服務。
進入hbase shell
bin/start-hbase.sh
執行上述操作，執行list指令，如果能顯示以下内容，表示安裝成功。
hbase(main):002:0> list
TABLE
0 row(s) in 0.1380 seconds
=> []
當然，你也可以通過
host:port
的方式來通路 HBase 的頁面，例如：
http://node01:16010/
OK，安裝完了 Hbase1.3.1，接着我們開始安裝 kylin 。
Kylin安裝
（1）下載下傳 Kylin 安裝包
（2）解壓
apache-kylin-2.6.3-bin-hbase1x.tar.gz
到
/export/servers
目錄下
tar -zxf /export/softwares/apache-kylin-2.6.3-bin-hbase1x.tar.gz -C /export/servers/
注 意 ： 啟 動 前 需 檢 查
/etc/profile
目 錄 中 的
HADOOP_HOME
、
HIVE_HOME
和
HBASE_HOME
是否配置完畢
（3）啟動
① 在啟動 Kylin 之前，需要先啟動 Hadoop（HDFS、YARN、JobHistoryServer）、Zookeeper 和 HBase。需要注意的是，要同時啟動 Hadoop 的曆史伺服器，對 Hadoop 叢集配置進行如下修改。
配置 mapred-site.xml 檔案。
[[email protected] hadoop]$ vim mapred-site.xml
<property>
<name>mapreduce.jobhistory.address</name>
<value>node01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node01:19888</value>
</property>
配置 yarn-site.xml 檔案。
[[email protected] hadoop]$ vim yarn-site.xml
<!-- 日志聚集功能開啟 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留時間設定為 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
修改配置後，分發配置檔案，重新開機 Hadoop 的 HDFS 和 YARN 的所有程序。
啟動 Hadoop 曆史伺服器。
[[email protected] hadoop-2.6.0-cdh5.14.0]$ sbin/mr-jobhistory-daemon.sh start historyserver
② 啟動 Kylin
[[email protected] kylin]$ bin/kylin.sh start
啟動之後檢視各台節點伺服器的程序。
--------------------- node01 ----------------
3360 JobHistoryServer
31425 HMaster
3282 NodeManager
3026 DataNode
53283 Jps
2886 NameNode
44007 RunJar
2728 QuorumPeerMain
31566 HRegionServer
--------------------- node02 ----------------
5040 HMaster
2864 ResourceManager
9729 Jps
2657 QuorumPeerMain
4946 HRegionServer
2979 NodeManager
2727 DataNode
--------------------- node03 ----------------
4688 HRegionServer
2900 NodeManager
9848 Jps
2636 QuorumPeerMain
2700 DataNode
2815 SecondaryNameNode
在浏覽器位址欄中輸入
node01:7070/kylin/login
，檢視 Web 頁面，如圖所示：
使用者名為 ADMIN，密碼為 KYLIN（系統已填）
（4）關閉Kylin
如果我們想要關閉 Kylin，隻需要執行下面的指令：
[[email protected] apache-kylin-2.6.3]# bin/kylin.sh stop
Kylin的使用
到了這一步，我們終于将 Kylin 安裝好了，下面我們來講一下 Kylin 的具體使用。
準備測試資料表
為了讓最終的示範更具有說明力，同時也為了友善後續的學習，接下來我們需要先準備幾張測試資料表。
1、（事實表）dw_sales
| 列名 | 列類型 | 說明 |
|---|---|---|
| id | string | 訂單id |
| date1 | string | 訂單日期 |
| channelid | string | 訂單管道（商場、京東、天貓） |
| productid | string | 産品id |
| regionid | string | 區域名稱 |
| amount | int | 商品下單數量 |
| price | double | 商品金額 |
2、（次元表_管道方式）dim_channel
| 列名 | 列類型 | 說明 |
|---|---|---|
| channelid | string | 管道id |
| channelname | string | 管道名稱 |
3、（次元表_産品名稱）dim_product
| 列名 | 列類型 | 說明 |
|---|---|---|
| productid | string | 産品id |
| productname | string | 産品名稱 |
4、（次元表_區域）dim_region
| 列名 | 列類型 | 說明 |
|---|---|---|
| regionid | string | 區域id |
| regionname | string | 區域名稱 |
導入測試資料
準備好了測試資料之後，我們需要将在 Hive 中 建好對應的表，這裡我采取的是執行已經寫好的腳本
hive.sql
檔案，建立測試表。
對應的資料檔案和sql腳本不友善在這裡展示，需要的同學可以添加我的微信：zwj_bigdataer 擷取
操作步驟：
1、使用 beeline 連接配接Hive
!connect jdbc:hive2://node1:10000
2、建立并切換到 itcast_dw 資料庫
create database itcast_kylin_dw;
use itcast_kylin_dw;
3、執行上面我們提到的
hive.sql
檔案，執行sql、建立測試表
-- 執行sql檔案
source hive.sql
-- 檢視表是否建立成功
show tables;
4、在home目錄建立
~/dat_file
檔案夾，并将測試資料檔案上傳到該檔案夾中
mkdir ~/dat_file
導入資料到表中
-- 導入資料
LOAD DATA LOCAL INPATH '/root/dat_file/dw_sales_data.txt' OVERWRITE INTO TABLE dw_sales;
LOAD DATA LOCAL INPATH '/root/dat_file/dim_channel_data.txt' OVERWRITE INTO TABLE dim_channel;
LOAD DATA LOCAL INPATH '/root/dat_file/dim_product_data.txt' OVERWRITE INTO TABLE dim_product;
LOAD DATA LOCAL INPATH '/root/dat_file/dim_region_data.txt' OVERWRITE INTO TABLE dim_region;
5、執行一條SQL語句，确認資料是否已經成功導入
名額和次元
在确認完成了上面的資料準備操作之後，我們就可以對 kylin 進行實際操作了。但我們還需要先了解一下，什麼是名額和次元？
首先來看下面的 demo
相信各位朋友已經有了自己的想法和答案，這裡提供一種思考方式：
紅色字型是名額/度量？還是次元？ 答案：名額/度量【到底要看什麼？擷取什麼？】 藍色字型是名額/度量？還是次元？ 答案：次元【怎麼看！怎麼擷取！】
結論：需求決定哪些是次元，哪些是名額。
好了，明确了什麼是次元，什麼是名額之後，我們就可以正式開啟kylin的使用之旅了~
按照日期統計訂單總額/總數量（Kylin方式）
做任何事情都有一個順序，使用一門新的技術亦是如此。要使用Kylin進行OLAP分析，需要按照以下方式來進行。
1、建立項目（Project）
2、建立資料源（DataSource）
- 指定有哪些資料需要進行資料分析
3、建立模型（Model）
- 指定具體要對哪個事實表、那些次元進行資料分析
4、建立立方體（Cube）
- 指定對哪個資料模型執行資料預處理，生成不同次元的資料
5、執行建構、等待建構完成
6、再執行SQL查詢，擷取結果
具體步驟：
1、建立 Project
（1）點選 + 圖示建立工程，如圖所示：
（2）填寫工程名稱和描述資訊，并單擊“Submit”按鈕送出
2、擷取資料源
（1）選擇“Data Source”頁籤，如圖所示：
（2）單擊圖中箭頭所指的圖示，導入 Hive 表。
（3）選中所需資料表，并單擊“Sync”按鈕，如圖所示：
3、建立 Model
（1）選擇“Models”頁籤，然後單擊“New”按鈕，接着單擊“NewModel”按鈕。
（2）填寫Model資訊，然後單擊“Next”按鈕，如圖所示
（3）選擇事實表
（4）選擇事實表中，所有有可能用到的次元，然後點選
Next
按鈕
（5）選擇度量字段，并單擊
Next
按鈕
（6）指定事實表分區字段（僅支援時間分區），但是我們這次的示範用不上，是以我們這裡直接單擊“Save”按鈕，然後在彈窗中點選“Yes”，Model 建立完畢！
此時我們就可以在初始界面看到已經建立好的 Model
4、建立 Cube
（1）單擊“New Cube”按鈕
（2）填寫Cube資訊，選擇Cube所依賴的 Model，并單擊“Next”按鈕，如圖所示：
（3）選擇 Cube 所需的次元，如圖
（4）選擇 Cube 所需的路徑成本
根據我們SQL的查詢需求，對指定的字段設定聚合
點選
Next
（5）Cube自動合并設定。每天Cube需按照日期分區字段進行建構，每次建構的結果會儲存到 HBase的一張表中，為提高查詢效率，需将每日的 Cube 進行合并，此處可設定合并周期
（6）Kylin的進階配置（優化相關配置），這裡我們就暫隻修改一下計算引擎，其他配置不動，執行完畢點選
Next
（7）Kylin 屬性值覆寫相關配置資訊，我們不用進行任何操作，直接
Next
（8）此時顯示的是Cube的設計資訊總覽，如圖單擊
Save
按鈕，Cube建立完成！
儲存完畢，我們可以看見一個新的Cube已經建立好了~
（9）建構 Cube（計算），單擊對應的Cube的“Action”下拉按鈕，選擇 “Build” 選項
（10）選擇“Monitor”，檢視建構進度，可以發現此時進度還在加載
稍等片刻，重新整理頁面，可以看到 Cube 已經建構完畢
注意看此時 Cube 就已經變成
READY
的狀态了
5、執行SQL查詢
忙碌了好一陣子，終于可以展示 Kylin 的威力了，接下來我們從 Cube 中查詢資料
select date1,
sum(price) as total_money,
sum(amount) as total_amount
from dw_sales
group by date1, channelid;
查詢結果如下
我們可以發現用 Kylin 執行 HQL 語句的速度最早為4.69s，第二次執行就變成了0.01s
那如果在Hive的指令行視窗執行相同的HQL語句，耗時将為多少呢？
可以看到 Hive 将 HQL 轉化成 MapReduce 程式去執行後，查詢的時間為
12.764
s，這個速度與上面用
Kylin
執行的速度相比，差了近 100 倍。如果資料量更大一些，Kylin的優勢将會更加明顯。
小結
本篇文章作為 Kylin 的入門篇，非常詳細清楚地為大家從 Kylin 的誕生背景，簡介，架構 ，應用場景再到 HBase，Kylin 安裝，并用一個簡單的例子為大家示範了 Kylin 的具體使用。當然，關于 Kylin 還有很多進階的内容，例如 Cube 的建構原理，建構優化，Kylin 與 BI 工具的內建等等