1、虚拟机安装 虚拟机安装工具：vSphere 登录虚拟服务器工具：SecureCRT 在虚拟机上装好3台服务器，环境情况： 内存：16G CPU：两个四核 硬盘：320G
2、版本选择
| 组件 | 版本 | 安装服务器 |
| 操作系统 | CentOS 6.5 | 3台 |
| JDK | 1.7.0_80 | 3台 |
| HADOOP | 2.6.3 | 3台 |
| SPARK | 1.6.0 | 3台 |
| SCALA | 2.10.4 | 3台 |
| R | 3.2.1 | 3台 |
| POSTGRESQL | 9.5.1 | Master |
| ZEPPELIN | 0.6.2 | Slave02 |
3、组件安装及测试 为避免权限问题，测试环境用户一律采用root，真实环境建议创新单独用户及组。 3.1修改ip地址 依次将新装好的3台虚拟机配置ip地址，网关地址及关闭ipv6. vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 HWADDR=00:0C:29:AD:A8:6C TYPE=Ethernet UUID=5f168497-fd8d-4f37-891d-28273cd5ecf7 ONBOOT=yes NM_CONTROLLED=yes BOOTPROT=none IPADDR=192.168.50.228 GATEWAY=192.168.50.1 prefix=24 DNS1=218.2.135.1 DEFROUTE=yes IPV4_FAILURE_FATAL=yes IPV6INIT=no 修改完后重启生效 shutdown -r now 3.2配置hostname vi /etc/sysconfig/network 增加本机hostname
3.3为3台服务器 配置hosts 在进行Hadoop集群配置中，需要在"/etc/hosts"文件中添加集群中所有机器的IP与主机名，这样Master与所有的Slave机器之间不仅可以通过IP进行通信，而且还可以通过主机名进行通信。
3.4 为3台服务器关闭防火墙及SELinux service iptables stop vi /etc/sysconfig/selinux SELINUX=enforcing 改成 SELINUX=disabled 执行setenforce 0
显示已成功关闭 3.5 SSH无密码登录 在Hadoop启动以后，namenode是通过SSH（Secure Shell）来启动和停止各个节点上的各种守护进程的，这就需要在节点之间执行指令的时候是不需要输入密码的方式，故我们需要配置SSH使用无密码公钥认证的方式。 3.5.1 在Master服务器上修改配置 vi /etc/ssh/sshd_config RSAAuthentication yes # 启用 RSA 认证 PubkeyAuthentication yes # 启用公钥私钥配对认证方式 AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同） 保存更改重启SSH服务生效 service sshd restart 3.5.2 在Master上生成公钥、私钥对 执行ssh-keygen -t rsa -P '' -P表示密码，-P '' 就表示空密码，也可以不用-P参数，这样就要三车回车，用-P就一次回车。 该命令将在/root/.ssh目录下面产生一对密钥id_rsa和id_rsa.pub。 id_rsa 私钥 id_rsa.pub 公钥 询问其保存路径时直接回车采用默认路径
3.5.3把id_rsa.pub新建并追加到授权的key里面去并赋予执行权限，然后删掉公钥 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys 然后在slave01和slave02上创建/root/.ssh目录，将公钥从master上拷贝过去并改名为authorized_keys ，可以通过在master执行 如下命令实现。 目的是被登录的机子上存有登录机子的公钥。 scp /root/.ssh/id_rsa.pub [email protected]:/root/.ssh/authorized_keys 现在master可以无密码登录slave了。【第一次登录需要密码验证】
3.5.4 将slave01和slave02按照master的方式配置一遍，实现3台服务器之间免密码登录 3.6JDK安装 需要在3台服务器上都安装jdk。首先通过sftp将下载下来的二进制的jdk包上传到Master，然后scp到另外两台slave上。 将jdk压缩包jdk-7u80-linux-x64.gz移动到/usr/local/program/目录下，使用tar zxvf jdk-7u80-linux-x64.gz 解压缩。 配置环境变量即可使用 vi /etc/profile export JAVA_HOME=/usr/local/program/jdk1.7.0_80 export JRE_HOME=/usr/local/program/jdk1.7.0_80/jre export CLASS_PATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 保存退出后source /etc/profile 使改动生效，然后输入java -version查看java -version 版本检验是否安装成功