Ubuntu Virtualbox 搭建hadoop伪分布式集群_codestorm_新浪博客

1. ubuntu16.04 无线网卡驱动不完整，需要单独安装。换用14.04 2. 首先virtualbox中分辨率，拖拽共享，共享文件夹需要安装增强组件 VBoxGuestAdditions_4.3.36.iso  3. 上网方式有四种，默认为nat，无法双向ping通。改为桥接 4. 关闭图形界面：   file：/etc/default/grub 

        GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"

替换为  GRUB_CMDLINE_LINUX_DEFAULT="text"

保存后 sudo update-grub 重启即可

5. 打开图形界面：

不要用startx

(原因我尚不清楚)

在命令行里输入

sudo service lightdm start / stop

6. 格式化文件系统多次之后会出现datanode无法启动情况，由于master和slaves的clusterid不一致。需要统一current/VERSION中的clusterid

7. 伪分布式中虚拟机分配内存过大，提交wordcount直接卡死。 修改512M内存可行，任务执行map67%, reduce22% 无法继续。2/3节点没进行计算。查明主机名配置错误。修改后完成，速度挺慢。