天天看点

阿里云一键部署 Hadoop 分布式集群

hadoop是一个能够让用户轻松架构和使用的开源分布式计算框架,一种可靠、高效、可伸缩的方式进行数据处理。本文主要目的是为大家提供一种非常简单的方法,在阿里云上部署hadoop集群。

正常安装hadoop分为四步:配置ssh无密码登录,安装java jdk,安装配置hadoop tar包,和启动测试集群。

集群中的所有主机应该可以无密码ssh登录,因此3台ecs都应该执行如下命令,保证所有的主机中临时密钥和公钥均相同,这样3台ecs就可以无密码登录了。

为了保证安全,防止对外泄露密钥和公钥。我们要在master上执行下述命令,替换掉公开的临时密钥与公钥:

master 上安装jdk,并远程控制在slaves上安装jdk。

下载安装hadoop:

最后格式化hdfs,关闭防火墙,启动集群。

<a href="https://ros.console.aliyun.com/?spm=0.0.0.0.85njxj&amp;hidetopbar=false&amp;skipprotocal=true&amp;/#/stack//create?url=http:%2f%2fros-template.cn-hangzhou.oss.aliyun-inc.com%2fhadoop_distributed_env_3_ecs.json&amp;stackname=hadoop_3_ecs">一键部署hadoop集群&gt;&gt;</a>

阿里云一键部署 Hadoop 分布式集群

注意:

必须确保可以正确下载jdk和hadoop tar 包,我们可以选择类似如下的url:

<a href="http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.7.1/hadoop-2.7.1.tar.gz">http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.7.1/hadoop-2.7.1.tar.gz</a>

利用该模板创建时,只能选择centos系统;

为了防止timeout 失败,可以设置为120分钟;

我们选择的数据中心在上海。

创建完成后,查看资源栈概况:

阿里云一键部署 Hadoop 分布式集群

浏览器中输入图中的的websiteurl,得到如下结果,则部署成功:

阿里云一键部署 Hadoop 分布式集群
阿里云一键部署 Hadoop 分布式集群