Hadoop大型應(yīng)用開發(fā)實戰(zhàn)培訓(xùn)

開課地點：	北京
授課時間：	2013-4-26
授課顧問：	王老師
開課時間：	2013-4-26
市場報價：	0
購買價格：	0
審核時間：	我要報名2013-02-28 18:01:49

　　

學(xué)習(xí)對象

軟件工程師、數(shù)據(jù)庫開發(fā)人員、網(wǎng)絡(luò)后臺開發(fā)人員、運維人員等。學(xué)員要求有一定的Java編程基礎(chǔ)。

課程目標

課程目標 1. 全面掌握Hadoop的架構(gòu)原理和使用場景； 2. 全程項目實戰(zhàn)訓(xùn)練； 3. 徹底掌握使用Hadoop進行MapReduce程序開發(fā) 4. 熟悉分布式計算領(lǐng)域的常用算法；

課程內(nèi)容

Day1

第1個主題：Hadoop MapReduce

1. Hadoop JobTracker 剖析

2.Hadoop TaskTracker 剖析

3.Hadoop 任務(wù)提交流程剖析

第2個主題： Hadoop MapReduce Streaming編程

1. Hadoop Streaming 和 Java MapReduce Api 差異

2. 使用 MapReduce 實現(xiàn)數(shù)據(jù)庫功能

第3個主題：MapReduce分布式程序

1. MapReduce流程

2.剖析一個MapReduce程序

3.基本MapReduceAPI 概念

4.驅(qū)動代碼

5.Mapper

6.Reducer

7.API 使用Eclipse進行快速開發(fā)

8.新MapReduce API

第4個主題：Hadoop 核心代碼剖析

1. Hadoop Mapper 類核心代碼剖析

2. Hadoop Reducer 類核心代碼剖析

第5個主題：HDFS分布式文件系統(tǒng)編程

1. Hadoop HDFS 剖析 

2. Hadoop NameNode 剖析

3. Hadoop DataNode 剖析

4. hadoop I/O 操作

5. 使用Hadoop HDFS API對HDFS編程

Day2

第1個主題：Hadoop Mapreduce高級編程

1.ToolRunner介紹

2.使用MRUnit進行測試

3.利用Combiners來減少中間數(shù)據(jù)

4.使用Configure和Close方法來進行Map/Reduce設(shè)置和關(guān)閉

5.編寫Partitioner來優(yōu)化負載平衡

6.直接訪問Hadoop分布式文件系統(tǒng)（HDFS）

7.使用分布式緩存（Distributed Cache）

第2個主題：MapReduce的優(yōu)化

1. map優(yōu)化

2. reduce優(yōu)化

3. 小文件優(yōu)化

第3個主題：MapReduce的任務(wù)調(diào)度

1. Queue調(diào)度的使用

2. 公平調(diào)度的使用

3. 能力調(diào)度的使用

第4個主題：MapReduce編程實戰(zhàn)

1. Hadoop的join操作

2. Hadoop的二次排序

3. Hadoop的海量日志分析

第5個主題：flume+hadoop日志收集實戰(zhàn)

1. flume介紹

2. flume核心組件講解

3. flume自帶的組件分析

4. flume二次開發(fā)實戰(zhàn)

Day2

第1個主題：Hadoop的來源和動機

1.傳統(tǒng)大規(guī)模系統(tǒng)存在的問題

2.對一種新的解決方案的需求

第2個主題：Hadoop安裝和部署準備

1.Hadoop系統(tǒng)模塊組件概述

2.Hadoop試驗集群的部署結(jié)構(gòu)

3.Hadoop 安裝依賴關(guān)系

4. Hadoop 生產(chǎn)環(huán)境的部署結(jié)構(gòu)

第3個主題：Hadoop集群安裝和部署

1.Red hat Linux基礎(chǔ)環(huán)境搭建 上機實驗

2.Hadoop 單機系統(tǒng)版本 安裝配置 上機實驗

3.Hadoop 集群系統(tǒng)版本 安裝和啟動配置 上機實驗

4.Hadoop 集群異常Debug 方法

5.Hadoop 集群簡單測試方法

6.使用 Hadoop MapReduce Streaming 快速測試系統(tǒng)

第4個主題：Hadoop組件詳解

1.Hadoop HDFS 基本結(jié)構(gòu)

2.Hadoop HDFS 副本存放策略

3.Hadoop NameNode 詳解

4.Hadoop SecondaryNameNode 詳解

5.Hadoop DataNode 詳解

6.Hadoop JobTracker 詳解

7.Hadoop TaskTracker 詳解

第5個主題：Hadoop集群配置詳解

1.Hadoop core-site,hdfs-site,mapred-site 配置詳解

2. Hadoop 高可用配置方法

第6個主題：Hadoop集群配置:機架感知,開啟壓縮和任務(wù)均衡

1、Hadoop 集群安裝和開啟LZO壓縮

2、Hadoop 配置集群具備機架感知

3、Hadoop 集群開啟公平任務(wù)調(diào)度器

4、Hadoop 集群開啟 能力任務(wù)調(diào)度器

第7個主題：Hadoop 集群維護與管理

1、查看集群狀態(tài)

2、HDFS數(shù)據(jù)管理

3、Mapreduce 任務(wù)管理

4、HDFS安全模式

5、模擬集群Namenode,jobtrack失效

6、添加刪除節(jié)點

7、數(shù)據(jù)平衡

8、文件數(shù)據(jù)跨集群拷貝

9、集群升級

第8個主題：Hadoop 集群規(guī)劃和測試

1、集群規(guī)劃(硬件,系統(tǒng),網(wǎng)絡(luò))

2、集群性能測試

第9個主題：Hadoop 集群監(jiān)控和運維

1. 使用Ganglia 監(jiān)控Hadoop集群

2. 使用Cacti 監(jiān)控操作系統(tǒng)

第10個主題：Hadoop HDFS高可用

1、Hadoop 元數(shù)據(jù)NFS備份方案

2、Hadoop SecondaryNameNode備份方案

3、Hadoop CheckpointNode備份方案

4、Hadoop BackupNode備份方案

5、Hadoop Cloudera HA Namenode 方案

 

 

師資力量

王老師【中國培訓(xùn)網(wǎng)高級講師】 國內(nèi)最早從事于Hadoop框架應(yīng)用程序軟件開發(fā)以及Hadoop解決方案專家。業(yè)界知名資深I(lǐng)T技術(shù)培訓(xùn)講師、多家著名公司的技術(shù)顧問。

備注信息