天天看点

Ambari 2.1安装HDP2.3.2 之 二、需求配置说明

##二、需求配置说明

Ambari 安装hortonworks相应ambari版本可以支持的hdp版本如下:

Ambari 2.1安装HDP2.3.2 之 二、需求配置说明

图2.0

我们选择的是ambari2.1.2,hdp是2.3.2.0

此时我们准备好一台纯净虚拟机作为master机,完整克隆出两台slave机。

注意:通过ambari安装hdp,并不能安装hue。我们想要安Hue,所以需要手动安装。而hue不支持centos7下的hdp2.3.x,所以我们选择centos6而非centos7。手动安装hue,在文档后边有写到。

###(一)本集群的基本配置

####1.操作系统

• CentOS v6.x

我们选择在VMware workstation里运行三台虚拟机。一台作为master host,两台slave host。

####2.支持的浏览器

• Firefox 最新稳定版

• Google Chrome 最新稳定版

####3.基本软件需求 On each of your hosts

a)yum and rpm (RHEL/CentOS/Oracle Linux)

b)scp, curl, unzip, tar, and wget

c)OpenSSL (v1.01, build 16 or later)

d)python v2.6

以上默认的Linux系统应该都已经安装了,可以查看一下是否安装。

####4.JDK环境需求

• Oracle JDK 1.8 64-bit (minimum JDK 1.8_40) ,我们的集群是 JDK1.8.0_60,在

三台虚拟机上的同样目录下安装jdk1.8.0_60.

####5.数据库需求

Ambari、hive、Oozie支持

  • PostgreSQL 8
  • PostgreSQL 9.1.13+,9.3
  • MySQL 5.6
  • Oracle 11gr2, 12c

    ambari默认会在安装ambari server 的机器上安PostgreSQL,而本集群选取的是MySQL5.6。关于使用非默认数据库,在后面文档中会有详细步骤。

    在这步我们先安装mysql,所以安装ambari、hive时要指定已经安装的mysql数据库。

    ####6.内存需求

    a)安装 ambari-server 的机器至少应该有1GB RAM,500M可用。

    # free -m

    查看剩余内存。

    b)在集群中我们选择安装Ambari Metrics Service (AMS) 来收集各个服务、组件的内存等信息,可以参考Ambari Reference Guide里的 Tuning Ambari Metrics这一部分。打算运行Amabri Metrics Collector 的机器应该符合下图的要求:

    Ambari 2.1安装HDP2.3.2 之 二、需求配置说明
    图2.1.1

本集群里的三台虚拟机建立时分配内存分别是9G\6G\6G。

####7.检查 the Maximum Open File Descriptors

在每台机器上执行下列语句:

ulimit -Sn
ulimit -Hn
           

如果输出小于10000,那么通过下列语句调整最大打开的文件数。

ulimit -n 10000
           

###(二)收集信息

####1.一个集群,至少需要三台虚拟机,一个作为master host,两个slave host

####2.了解HDP组件的部署

Ambari 2.1安装HDP2.3.2 之 二、需求配置说明

图2.2.1

####3.规划我们需要安装的组件

Ambari 2.1安装HDP2.3.2 之 二、需求配置说明

这些在安好ambari后,部署集群过程中按此表来选择哪个组件安在哪台机器上。

这些组件是本集群中决定安装的组件。

###(三)准备环境

本集群包括三台机器,内存分配为9G\6G\6G,一台master,两台slave。master和slave 机器分配的IP地址分别为:

master IP:192.168.12.21

slave1 IP:192.168.12.22

slave2 IP:192.168.12.23

网关:192.168.12.254

DNS:202.199.160.206

下面请见 三、开始配置基本环境

继续阅读