天天看点

Hadoop配置LDAP集成Kerberos1. 环境说明2. 安装服务端3. 客户端配置4. 配置 Hive 集成 LDAP5. 配置 Impala 集成 LDAP

系统环境:

操作系统:centos 6.6

hadoop版本:<code>cdh5.4</code>

jdk版本:<code>1.7.0_71</code>

openldap 版本:2.4.39

kerberos 版本:1.10.3

运行用户:root

集群各节点角色规划为:

cdh1作为master节点,其他节点作为slave节点,我们在cdh1节点安装kerberos server,在其他节点安装kerberos client。

同安装 kerberos 一样,这里使用 cdh1 作为服务端安装 openldap。

查看安装的版本:

如果,你不配置ssl,这部分内容可以略过,实际安装过程中,我也没有详细去操作这部分内容。

openldap 默认使用 mozilla nss,安装后已经生成了一份证书,可使用 <code>certutil -d /etc/openldap/certs/ -l -n 'openldap server'</code> 命令查看。使用如下命令生成rfc格式ca证书并分发到客户机待用。

附,生成自签名证书的命令供参考:

修改 <code>/etc/sysconfig/ldap</code>,开启 ldaps:

更新配置库:

在2.4以前的版本中,openldap 使用 slapd.conf 配置文件来进行服务器的配置,而2.4开始则使用 <code>slapd.d</code> 目录保存细分后的各种配置,这一点需要注意,其数据存储位置即目录 <code>/etc/openldap/slapd.d</code> 。尽管该系统的数据文件是透明格式的,还是建议使用 ldapadd, ldapdelete, ldapmodify 等命令来修改而不是直接编辑。

默认配置文件保存在 /etc/openldap/slapd.d,将其备份:

添加一些基本配置,并引入 kerberos 和 openldap 的 schema:

启动 ldap 服务:

查看状态,验证服务端口:

如果启动失败,则运行下面命令来启动 slapd 服务并查看日志:

待查明原因之后,停止该进程使用正常方式启动 slapd 服务。

在kerberos安全机制里,一个principal就是realm里的一个对象,一个principal总是和一个密钥(secret key)成对出现的。

这个principal的对应物可以是service,可以是host,也可以是user,对于kerberos来说,都没有区别。

kdc(key distribute center)知道所有principal的secret key,但每个principal对应的对象只知道自己的那个secret key。这也是 “共享密钥” 的由来。

为了使 kerberos 能够绑定到 openldap 服务器,请创建一个管理员用户和一个 principal,并生成 keytab 文件,设置该文件的权限为 ldap 服务运行用户可读( ldap 服务运行用户一般为 ldap):

ktadd 后面的<code>-k</code> 指定把 key 存放在一个本地文件中。

使用 ldapadmin 用户测试:

系统会提示输入密码,如果一切正常,那么会安静的返回。实际上,你已经通过了kerberos的身份验证,且获得了一个service tgt(ticket-granting ticket). service tgt的意义是, 在一段时间内,你都可以用此tgt去请求某些service,比如ldap service,而不需要再次通过kerberos的认证。

确保 ldap 启动时使用上一步中创建的keytab文件,在 <code>/etc/sysconfig/ldap</code> 增加 <code>krb5_ktname</code> 配置:

然后,重启 slapd 服务。

进入到 /etc/openldap/slapd.d 目录,查看 <code>etc/openldap/slapd.d/cn\=config/olcdatabase={2}bdb.ldif</code> 可以看到一些默认的配置,例如:

接下来更新这三个配置,建立 modify.ldif 文件,内容如下:

说明:

上面的密码使用的是明文密码 secret ,你也可以使用 <code>slappasswd -s secret</code> 生成的字符串作为密码。

上面的权限中指明了只有用户 <code>uid=ldapadmin,ou=people,dc=javachen,dc=com</code> 有写权限。

使用下面命令导入更新配置:

这时候数据库没有数据,需要添加数据,你可以手动编写 ldif 文件来导入一些用户和组,或者使用 migrationtools 工具来生成 ldif 模板。创建 setup.ldif 文件如下:

使用下面命令导入数据,密码是前面设置的 secret 。

参数说明:

<code>-w</code> 指定密码

<code>-x</code> 是使用一个匿名的绑定

接下来你可以从 /etc/passwd, /etc/shadow, /etc/groups 中生成 ldif 更新 ldap 数据库,这需要用到 migrationtools 工具。

安装:

利用迁移工具生成模板,先修改默认的配置:

生成模板文件:

然后,可以修改该文件,然后执行导入命令:

将当前节点上的用户导入到 ldap 中,可以有选择的导入指定的用户:

将用户组导入到 ldap 中:

查询新添加的 test 用户:

可以看到,通过指定 ‘uid=test’,我们只查询这个用户的数据,这个查询条件叫做filter。有关 filter 的使用可以查看 ldapsearch 的 manpage。

用户添加好以后,需要给其设定初始密码,运行命令如下:

删除用户或组条目:

在 cdh2 和 cdh3上,使用下面命令安装openldap客户端

修改 /etc/openldap/ldap.conf 以下两个配置

然后,运行下面命令测试:

重新获取 ticket:

使用 ldap 客户端工具进行测试,这里我使用的是 ldap browser/editor:

Hadoop配置LDAP集成Kerberos1. 环境说明2. 安装服务端3. 客户端配置4. 配置 Hive 集成 LDAP5. 配置 Impala 集成 LDAP
说明: cdh5.2 之前 hive-server2 支不支持集成 ldap,故需要升级 cdh 版本到高版本,如 cdh5.3,该版本支持 ldap。

我这使用的是 openldap ,故修改 hive-site.xml 配置文件如下:

重启服务:

然后使用 beeline 测试:

修改 /etc/default/impala 中的 <code>impala_server_args</code> 参数,添加

注意:

如果没有开启 ssl,则添加 <code>-ldap_passwords_in_clear_ok=true</code>,同样如果开启了 ssl,则 <code>ldap_uri</code> 值为 <code>ldaps://xxxx</code>

ldap_basedn 的值是 <code>ou=people,dc=javachen,dc=com</code>,因为 impala 会将其追加到 <code>uid={用户名},</code> 后面

然后使用 impala-shell 测试:

使用 beeline 通过 ldap 方式来连接 jdbc 进行测试: