王家林的雲計算分布式大資料Hadoop企業級開發動手實踐

一：課程簡介：

Hadoop是雲計算分布式大資料的事實标準軟體架構，Hadoop中的架構實作是整個雲計算産業技術的基礎，作為與Google三大核心技術DFS、MapReduce、BigTable相對的HDFS、MapReduce、和HBase也是整個Hadoop生态系統的核心的技術，本課程緻力于幫您掌握這三大技術的同時掌握雲計算的資料倉庫挖掘技術Hive，助您在雲計算技術時代自由翺翔。

二：課程特色

1，      深入淺出中動手實作；

2，      掌握Hadoop三大核心：HDFS、MapReduce、和HBase；

3，      掌握資料倉庫和挖掘技術Hive；

4，      了解業界的成功典範亞馬遜雲計算

三：适合對象：

   軟體工程師；

    資料庫開發人員；

    網絡背景開發人員；

    運維人員；

四：基礎要求

   了解Linux系統；

    了解網絡；

    了解Java；

五：講師簡介

Hadoop源碼級專家，曾負責某知名公司的類Hadoop架構開發工作，專注于Hadoop一站式解決方案的提供，同時也是雲計算分布式大資料處理的最早實踐者之一，Hadoop的狂熱愛好者，不斷的在實踐中用Hadoop解決不同領域的大資料的高效處理和存儲，現在正負責Hadoop在搜尋引擎中的研發中國電信的多次Hadoop教育訓練，花旗銀行的Hadoop内訓，金立手機的Hadoop内訓等，著有《雲計算分布式大資料Hadoop實戰高手之路---從零開始》《雲計算分布式大資料Hadoop實戰高手之路---高手崛起》《雲計算分布式大資料Hadoop。實戰高手之路---高手之巅》等；

Android架構師、進階工程師、咨詢顧問、教育訓練專家；     

通曉Android、HTML5、Hadoop，迷戀英語播音和健美；

緻力于Android、HTML5、Hadoop的軟、硬、雲整合的一站式解決方案；

國内最早（2007年）從事于Android系統移植、軟硬整合、架構修改、應用程式軟體開發以及Android系統測試和應用軟體測試的技術專家和技術創業人員之一。

HTML5技術領域的最早實踐者（2009年）之一,成功為多個機構實作多款自定義HTML5浏覽器，參與某知名的HTML5浏覽器研發；

超過10本的IT暢銷書作者；

六：教育訓練内容

時間

内容

備注

第一天

第1個主題：雲計算的三大核心技術

1. HDFS

2. MapReduce

3. HBase

第2個主題：Hadoop叢集與管理

1、 Hadoop叢集的搭建

2、 Hadoop叢集的監控

3、 Hadoop叢集的管理

4、

叢集下運作MapReduce程式

第3主題：MapReduce剖析

1. MapReduce的原理和運作過程  

2. 建構MapReduce的開發環境

第4主題：MapReduce案例實戰

1. 使用MapReduce的Java接口實作經典的WordCount 

2. wordcount運作過程解析

3. MapReduce實作資料去重操作

4. MapReduce實作資料排序

5. MapReduce實作資料平均資料的計算

第5題：在亞馬遜EC2上運作MapReduce程式

1. 将本地代碼轉移到亞馬遜EC2上

2. 操作亞馬遜Hadoop叢集上的資料

3. 清空和關閉EC2執行個體

1. Amazon EMR

2. 亞馬遜AWS導入/導出

第7個主題：HDFS

1. HDFS指令行操作實戰

2. HDFS的配置管理

3. NameNode的工作機制

第8個主題：HDFS案例實戰

1. HDFS案例的分析和設計

2. 環境搭建

3.使用Hadoop Java API實作對HDFS寫入、讀取、删除檔案等操作

第9個主題：MapReduce剖析

第二天

第1個主題：MapReduce案例實戰

第2個主題：HBase架構設計和實作剖析

1、 HBase定義

2、 HBase與RDBMS的對比

3、 資料模型

4、 系統架構

5、

HBase上的MapReduce

6、 表的設計

第3個主題：HBase叢集及其管理

1、 叢集的搭建過程講解

2、 叢集的監控

3、 叢集的管理

第4個主題：HBase用戶端

1、 HBase Shell以及示範

2、 Java用戶端以及代碼示範

第5個主題：HBase與MapReduce

1. HBase與MapReduce的關系

2. HBase如何使用MapReduce

第6個主題：MapReduce進階實戰

1. Split實作剖析

2. 自定義輸入的實作

3. Reduce的partition 

4. 案例實戰

第7個主題：安裝和使用Hive

1. Hive剖析

2. 安裝Hive

3.Hive的基本使用

第8個主題：Hive與HDFS、MapReduce

1. Hive向HDFS存入結構化資料

2. 使用MySQL作為Hive的中繼資料庫

3.Hive與MapReduce

第9個主題：Hive

1. Hive的Java擴充開發

2. Hive UDF和UDAF開發

3. Hive常見場景，實戰練習

第10個主題：Sqoop

1. Sqoop原理

2. Sqoop使用詳解

3. 用Sqoop實作HDFS/Hive與關系資料庫的資料互動

4. 用Sqoop實作HBase與關系資料庫的資料互動

第11個主題：Hadoop開發者之路

1. Hadoop技能模型

2. Hadoop開發者最佳學習路線和方式

3.Hadoop開發者最佳成長路線