备注:测试版本 6.3.1
文章目录
- 一.HDFS HA
-
- 1.1 启用HA
- 1.2 设置备用的NameService
- 1.3 选择备用的主机
- 1.4 审核更改
- 1.5 命令详细信息
- 1.6 最后步骤
- 1.7 重启后
- 1.8 Hue 设置
- 1.9 Hive 设置
- 1.10 重启Impala
- 二.YARN HA
-
- 2.1 添加ResourceManager
- 2.2 选择ResourceManager 所在主机
- 2.3 启动新增的ResourceManager
- 2.4 重启YARN
- 三.Hive HA
-
- 3.1 添加MataStore Server和HiveServer2
- 3.2 重启hive
- 参考
一.HDFS HA
HDFS的NameNode是一个单点，一个集群里面一般只有一个NameNode，当NameNode出现故障，Secondary NameNode并不会直接进行failover切换成为新的NameNode。
为了解决这个问题，HDFS在同一个集群里面运行两个NameNode，区别于Secondary NameNode，第二个NameNode被成为standby NameNode，可以提供自动的failover功能，一个集群里面最多只能有2个NameNode。同一时间，一个集群里面只有一个运行的NameNode。
CDH里面已经把这个做成了图形化界面操作，太方便了
1.1 启用HA
1.2 设置备用的NameService
1.3 选择备用的主机
1.4 审核更改
默认配置即可,录入 JournalNode目录
1.5 命令详细信息
等待命令执行完成
1.6 最后步骤
需要手工配置hue和hive，按照操作指导来即可
1.7 重启后
1.8 Hue 设置
Hue -> 配置 -> HDFS web界面角色 -> 选择httpfs，没有则在hdfs里添加角色。
1.9 Hive 设置
1.10 重启Impala
二.YARN HA
可以跟HDFS一样添加HA，如果HDFS已经启用HA，那更简单，添加一个ResourceManager，重启即可，CDH会自动部署高可用。
2.1 添加ResourceManager
2.2 选择ResourceManager 所在主机
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b07AqI7q-1607409020926)(https://upload-images.jianshu.io/upload_images/2638478-a7e6425bbccaa939.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
2.3 启动新增的ResourceManager
2.4 重启YARN
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zvinlCRF-1607409020930)(https://upload-images.jianshu.io/upload_images/2638478-7db990a9683b09be.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
三.Hive HA
同YARN。添加MataStore Server和HiveServer2，重启自动部署。
3.1 添加MataStore Server和HiveServer2
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-h2Ij6FuQ-1607409020931)(https://upload-images.jianshu.io/upload_images/2638478-ea6d62008d3f6826.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
3.2 重启hive
参考
1.https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_ha.html
2.https://blog.csdn.net/lingeio/article/details/97753136