hadoop是一个能够让用户轻松架构和使用的开源分布式计算框架,一种可靠、高效、可伸缩的方式进行数据处理。本文主要目的是为大家提供一种非常简单的方法,在阿里云上部署hadoop集群。
正常安装hadoop分为四步:配置ssh无密码登录,安装java jdk,安装配置hadoop tar包,和启动测试集群。
集群中的所有主机应该可以无密码ssh登录,因此3台ecs都应该执行如下命令,保证所有的主机中临时密钥和公钥均相同,这样3台ecs就可以无密码登录了。
为了保证安全,防止对外泄露密钥和公钥。我们要在master上执行下述命令,替换掉公开的临时密钥与公钥:
master 上安装jdk,并远程控制在slaves上安装jdk。
下载安装hadoop:
最后格式化hdfs,关闭防火墙,启动集群。
<a href="https://ros.console.aliyun.com/?spm=0.0.0.0.85njxj&hidetopbar=false&skipprotocal=true&/#/stack//create?url=http:%2f%2fros-template.cn-hangzhou.oss.aliyun-inc.com%2fhadoop_distributed_env_3_ecs.json&stackname=hadoop_3_ecs">一键部署hadoop集群>></a>

注意:
必须确保可以正确下载jdk和hadoop tar 包,我们可以选择类似如下的url:
<a href="http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.7.1/hadoop-2.7.1.tar.gz">http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.7.1/hadoop-2.7.1.tar.gz</a>
利用该模板创建时,只能选择centos系统;
为了防止timeout 失败,可以设置为120分钟;
我们选择的数据中心在上海。
创建完成后,查看资源栈概况:
浏览器中输入图中的的websiteurl,得到如下结果,则部署成功: