Presto安裝內建kerberos

解壓presto-server包

tar -zxvf presto-server-0.276.tar.gz      

件目錄結構如下

drwxr-xr-x  3 rong rong   4096 Mar 29 10:29 bin
drwxrwxr-x  2 rong rong  12288 Mar 29 09:54 lib
-rw-r--r--  1 rong rong 191539 Mar  5 02:48 NOTICE
drwxrwxr-x 33 rong rong   4096 Mar 29 09:54 plugin
-rw-r--r--  1 rong rong    126 Mar  5 02:48 README.txt      

建立etc目錄

mkdir etc      

結構如下：

drwxr-xr-x  3 rong rong   4096 Mar 29 10:29 bin
drwxrwxr-x  3 rong rong   4096 Mar 29 15:08 etc
drwxrwxr-x  2 rong rong  12288 Mar 29 09:54 lib
-rw-r--r--  1 rong rong 191539 Mar  5 02:48 NOTICE
drwxrwxr-x 33 rong rong   4096 Mar 29 09:54 plugin
-rw-r--r--  1 rong rong    126 Mar  5 02:48 README.txt      

在etc目錄建立需要配置檔案

1. 建立config.propertie

touch config.properties      

内容如下：

# 指定是否運維Presto執行個體作為一個coordinator(接收來自用戶端的查詢情切管>理每個查詢的執行過程)
coordinator=true
# 是否允許在coordinator服務中進行排程工作,
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=100MB
query.max-memory-per-node=100MB
query.max-total-memory-per-node=100MB
discovery-server.enabled=true
discovery.uri=http://hadoop-test001:8080
#  如果節點是worker 則是以下配置
        # coordinator=false
        # http-server.http.port=8080
        # query.max-memory=50GB
        # query.max-memory-per-node=1GB
        # query.max-total-memory-per-node=2GB
        # discovery.uri=http://hadoop-test002:8080      

1. 建立jvm.config

touch jvm.config      

内容如下：

-server
-Xmx500M
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-Djava.security.krb5.conf=/etc/krb5.conf      

注意：如果叢集沒有內建kerberos，配置最後一行需要去掉。

1. 建立log.properties

配置日志級别

touch log.properties      

1. 建立node.properties

touch node.properties      

内容如下：

# 叢集名稱, 所有在同一個叢集中的Presto節點必須擁有相同的叢集名稱
node.environment=production
# 每個Presto節點的唯一标示。每個節點的node.id都必須是唯一的
node.id=hadoop-test02
#該路徑要自己建立 随意的目錄
node.data-dir=/var/presto/data      

在etc目錄下建立catlog目錄

mkdir catalog      

在catalog目錄下配置資料源

1. 配置mysql資料源

touch mysql.properties

connector.name=mysql
connection-url=jdbc:mysql://hadoop-test002:3306
connection-user=root
connection-password=root      

1. 配置hive資料源（沒權限）

touch hive.properties

# name後面為固定寫法
connector.name=hive-hadoop2
# 需要啟動hive metastore服務
hive.metastore.uri=thrift://hadoop-test003:9083
# hadoop叢集的配置檔案目錄
hive.config.resources=${HADOOP_HOME}/etc/hadoop/core-site.xml,${HADOOP_HOME}/etc/hadoop/hdfs-site.xml      

用戶端配置

将用戶端放到 ${PRESTO_HOME}/bin 下：

mv presto-cli-0.276-executable.jar ${PRESTO_HOME}/bin      

修改名稱為 presto ,并賦予執行權限 chmod +x

mv presto-cli-0.276-executable.jar presto
# 賦權執行權限
chmod +x presto      

測試

--啟動服務
bin/launcher run
--啟動用戶端
./presto --server hadoop-test001:8080 --catalog myslq      

內建kerberos

生成persto主體的princal

kadmin.local -q "addprinc -randkey presto/[email protected]"
kadmin.local -q "xst -norandkey -k presto.keytab presto/[email protected]"      

內建Kerberos環境Hive

1. 修改hive.properties

connector.name=hive-hadoop2
#需要啟動hive metastore服務
hive.metastore.uri=thrift://hadoop-test006:9083
#配置Presto通路HiveMetastore服務的Kerberos資訊，該段配置可以隻存在Presto的Coordinator節點
hive.metastore.authentication.type=KERBEROS
hive.metastore.service.principal=hive/[email protected]
hive.metastore.client.principal=presto/[email protected]
hive.metastore.client.keytab=/root/presto.keytab

#配置Presto通路HDFS的Kerberos資訊，改段配置可以隻存在Presto的Worker節點
hive.hdfs.authentication.type=KERBEROS
hive.hdfs.impersonation.enabled=true
hive.hdfs.presto.principal=presto/[email protected]
hive.hdfs.presto.keytab=/root/presto.keytab
# hadoop叢集的配置檔案目錄
hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml      

在hive.properties配置檔案中增加通路HiveMetastore和HDFS的Kerberos認證資訊，将如上配置同步至Presto叢集所有節點的${PRESTO_HOME}/etc/catalog/hive.properties檔案中。

注意：在配置hive.metastore.url時，需要使用HiveMetastore服務的HOSTNAME，否則在使用Kerberos通路HiveMetastore時會報找不到Kerberos賬号的錯誤。      

1. 修改config.properties

-server
-Xmx500M
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-Djava.security.krb5.conf=/etc/krb5.conf      

注意最後一行

3. 配置HDFS

修改core-site.xml：添加presto的代理使用者，不然會報錯

<property>
    <name>hadoop.proxyuser.presto.hosts</name>
    <value>*</value>
</property>
    <property><name>hadoop.proxyuser.presto.groups</name>
    <value>*</value>
</property>      

1. 重新開機HDFS 和 presto

./bin/launcher restart      

5.測試

presto --server http://hadoop-test001:8080 --catalog hive --schema default      

測試指令

show schemas;

       Schema       
--------------------
 default            
 information_schema 
 test               
(3 rows)