HDF/nifi 打開ssl和Kerberos

NIFI-HDF enable ssl and kerberos

1、環境

Hdfmaster (NIFI CA /kerberos) CentOS 7

hdfnode1 (NIFI )

hdfnode2 (NIFI )

hdfnode3 (NIFI )

關閉防火牆

vi /etc/selinux/config
     SELINUX=disabled  #修改内容為disabled
systemctl stop firewalld.service
systemctl disable firewalld.service
firewall-cmd --state  #檢視防火牆狀态(關閉顯示not running，開啟顯示running)
           

2、安裝kerberos server

2.1 安裝Hdfmaster:

2.2 配置/etc/krb5.conf

Vi /etc/krb5.conf

[libdefaults]
  renew_lifetime = d
  forwardable = true
  default_realm = NIFI.COM
  ticket_lifetime = h
  dns_lookup_realm = false
  dns_lookup_kdc = false
  default_ccache_name = /tmp/krb5cc%{uid}
  #default_tgs_enctypes = aes des3-cbc-sha1 rc4 des-cbc-md5
  #default_tkt_enctypes = aes des3-cbc-sha1 rc4 des-cbc-md5

[logging]
  default = FILE:/var/log/krb5kdc.log
  admin_server = FILE:/var/log/kadmind.log
  kdc = FILE:/var/log/krb5kdc.log

[realms]
  NIFI.COM = {
    admin_server = hdfmaster
    kdc = hdfmaster
  }
           

2.3 配置 /var/kerberos/krb5kdc/kdc.conf

vi /var/kerberos/krb5kdc/kdc.conf

[realms]
 NIFI.COM = {
  #master_key_type = aes256-cts
  acl_file = /var/kerberos/krb5kdc/kadm5.acl
  dict_file = /usr/share/dict/words
  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  supported_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
 }
           

2.4 建立初始資料庫

2.5 增加管理者使用者

kadmin.local 
addprinc admin/admin
q
           

vi /var/kerberos/krb5kdc/kadm5.acl –開放管理者使用者權限

*/[email protected] 
           

2.6 啟動服務并設定開機自啟

service krb5kdc start
service kadmin start

chkconfig krb5kdc on
chkconfig kadmin on
           

2.7 建立UI初始登陸使用者

kadmin.local 
addprinc nifi/[email protected]
           

3、HDF ENABLE Kerberos

Admin->Kerberos

KDC hosts，Realm name填剛剛設定的：

等待自動完成配置以及其他節點的Kerberos Clients 安裝。

在用戶端測試：

Kinit nifi/admin
           

4、NIFI 打開 SSL

(參考：https://community.hortonworks.com/articles/58009/hdf-20-enable-ssl-for-apache-nifi-from-ambari.html)

Nifi->config->ssl

暫時不使用ranger

Initial admin 填上初始化進入UI的使用者。（注意authorizations.xml必須沒有政策，可以直接删掉authorizations.xml和users.xml檔案）

5、生産ssl證書

下載下傳JCE，安裝JDC以及JCE

(http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.html)

yum install java-.-openjdk
           

Unzip <JCE壓縮包>
Cp *.jar [JRE_HOME]/lib/security/  --替換兩個jar即可
           

下載下傳nifi-toolkit

(http://nifi.apache.org/download.html)

Unzip nifi-toolkit-<version>-bin.zip
./tls-toolkit.sh standalone -n 'hdfnode1,hdfnode2,hdfnode3' -D 'nifi/[email protected]' -c hdfmaster -f /usr/hdf/current/nifi/conf/nifi.properties -o'./target' -K hadoop -P hadoop -S hadoop
           

-n: nifi叢集節點

-c: CA hosts

-f: nifi.properties檔案，在此基礎更改

-K -P -S 密碼

生成檔案結構：

target

├── [email protected]

├── [email protected]

├── hdfnode1

│ ├── keystore.jks

│ ├── nifi.properties

│ └── truststore.jks

├── hdfnode2

│ ├── keystore.jks

│ ├── nifi.properties

│ └── truststore.jks

├── hdfnode3

│ ├── keystore.jks

│ ├── nifi.properties

│ └── truststore.jks

├── nifi-cert.pem

└── nifi-key.key

将節點檔案下的檔案scp到/conf/ 下覆寫。

将p12檔案導入到浏覽器，輸入password檔案中的密碼。

5、初始化進入NIFI，設定admin使用者

點選Users：

添加admin使用者：名稱和kerberos設定的使用者名一緻

給admin使用者配置設定所有權限：

點選Polices,将admin都添加進去即可。

配置全局component權限：

退出，将證書從浏覽器移除。用admin使用者login即可配置其他使用者。

EXCEPTION:

1.NiFi AuthorizerCreationException: Unable to locate initial admin to seed policies

Remove users.xml and authorizations.xml ,restart

參考：

https://blog.csdn.net/wjqwinn/article/details/76483040

https://community.hortonworks.com/articles/58009/hdf-20-enable-ssl-for-apache-nifi-from-ambari.html

https://community.hortonworks.com/articles/58793/hdf-20-use-ambari-to-enable-kerberos-for-hdf-clust.html