Hadoop2.x運維實戰之入門手冊v1.0

Hadoop2.x運維實戰之入門手冊V1.0

0.Hadoop2.x生态圈介紹

1.常用元件介紹(體系結構+程序)

   1.1HDFS

   1.2MapReduce

   1.3Yarn

   1.4Hive

   1.5Hbase

   1.6Zookeeper

   1.7Flume

   1.8Kafka

   1.9Sqoop

1.Hadoop2.6.0的僞分布環境搭建

2.Hadoop-2.7.2+Zookeeper-3.4.6完全分布式環境搭建(HDFS,YARN HA)

3.Hadoop 2.x HDFS和YARN的啟動方式

4.Hadoop2.x常用端口及定義方法

5.Hadoop2.x常用指令

     5.1學會怎樣檢視指令幫助

     5.2hadoop fs

     5.3hdfs dfs

     5.4hdfs dfsadmin

     5.5hdfs haadmin

     5.6hdfs fsck

     5.7yarn rmadmin

     5.8其他指令

6.HDFS HA實戰

7.YARN HA實戰

8.動态添加DataNode(含NodeManager)節點(不修改dfs.replication)

9.添加DataNode節點後,更改檔案複制政策dfs.replication

10.動态删除DataNode(含NodeManager)節點(修改dfs.replication)

11.Zookeeper實戰

12.Hive實戰

  12.1 Hive+HDFS存儲資料+MySQL存儲中繼資料搭建(本地模式)

  12.2 Hive+HDFS存儲資料+MySQL存儲中繼資料搭建(遠端模式)

  12.3 HAProxy+Hive+HBase建構高可用資料挖掘叢集

  12.4 Hive Shell基本操作

  12.5 Hive QL文法

  12.6 資料導入導出

  12.7 eclipse與Hive

13.HBase實戰

   13.1 HMaster HA分布式搭建

   13.2 HBase shell table常用指令

   13.3 HBase shell 管理常用指令

   13.4  eclipse與Hbase    

14.Hadoop2.x DataNode資料均衡實戰

15.Hadoop2.x 性能調優

   11.1作業系統

   11.2JVM參數調優  

   11.3HDFS參數調優

   11.4Yarn參數調優

   11.5MapReduce參數調優

   11.6Hive參數調優

16.Hadoop常見錯誤彙總

17.Hadoop常見運維技巧

18.參考資料

   18.1運維記錄

   18.2文檔資料

19.作者心得

      剛開始對大資料這塊完全屬于門外漢，然後在公司接下來的3個月裡搭建cdh4和cdh5環境,做做cdh5實驗（參照前輩的cdh4文檔），記錄cdh5實驗過程，寫成文檔！

     後來突然有一天，我想要去學Apache Hadoop,這個原生态的東西，于是乎，我在2016年1月3号，在Itpub開始寫部落格，當然之前我做開發的時候，就經常在新浪部落格上寫開發的東西（尤其是水晶報表實戰，後來莫名其妙基本每個禮拜都有qq加我，問我水晶報表各種其難雜症）！

     在目前目錄的實驗已做1/3了，xiao5預計在7月份左右，做完所有的實驗，寫成文檔！期待吧！！！

     等真正入門hadoop，我會繼續完善CDH5快速入門手冊v1.0！

加入群【cloudera hadoop】：258669058 不定期釋出資料的word文檔、遇見的bug和心得!