配置機架感覺

為了達到hadoop的最佳性能，配置hadoop系統讓其了解網絡拓撲狀況很關鍵。機架感覺是一種優化hadoop叢集的方式，使hdfs能更加智能的放置副本(replica),以取得性能和彈性的平衡。

hadoop預設的副本放置政策： 首選在本地機架的一個node存放副本,另一個副本在本地機架的另一個不同節點。最後一個副本在不同機架的不同節點上

如下是自定義機架感覺的基本步驟：

1. 自定義實作類(實作 DNSToSwitchMapping 接口)

/**
 * 機架感覺類
 *
 */
public class MyRackAware implements DNSToSwitchMapping {

    @Override
    public List<String> resolve(List<String> names) {

        List<String> list = new ArrayList<>();
        for (String str : names) {
            //輸出原來的資訊，ip位址(主機名)
            System.out.println(str);
            if (str.startsWith("192")) {
                //192.168.32.201 ...
                String ip = str.substring(str.lastIndexOf("."));
                if (Integer.parseInt(ip) <= 203) {
                    list.add("/rack1/" + ip);
                } else {
                    list.add("/rack2/" + ip);
                }

            } else if (str.startsWith("s")) {
                String ip = str.substring(str.lastIndexOf("."));
                if (Integer.parseInt(ip) <= 203) {
                    list.add("/rack1/" + ip);
                } else {
                    list.add("/rack2/" + ip);
                }
            }
        }

        return list;
    }

    @Override
    public void reloadCachedMappings() {

    }

    @Override
    public void reloadCachedMappings(List<String> names) {

    }
}
           

2. 配置 core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
			<name>fs.defaultFS</name>
			<value>hdfs://192.168.231.201/</value>
	</property>
	<property>
			<name>hadoop.tmp.dir</name>
			<value>/home/centos/hadoop</value>
	</property>
	<property>
			<name>topology.node.switch.mapping.impl</name>
			<value>com.yuangh.hadoop.rackware.MyRackAware</value>
	</property>
</configuration>
           

3. 導出jar包，複制jar到/soft/hadoop/shared/hadoop/common/lib目錄下，并分發給每台主機。

4. 重新開機名稱節點

$>hadoop-daemon.sh stop namenode
$>hadoop-daemon.sh start namenode