?云計(jì)算分布式大數(shù)據(jù)Hadoop培訓(xùn)課程——

HDFS&MapReduce&HBase&Hive&集群管理培訓(xùn)

第一部分：

第1個(gè)主題：Hadoop思考

1.Hadoop的設(shè)計(jì)目標(biāo)和適用場景

2.Hadoop架構(gòu)解析

3.MapReduce工作原理和案例說明

第2個(gè)主題：?Hadoop安裝和配置實(shí)戰(zhàn)

1.?安裝和配置單機(jī)版Hadoop實(shí)戰(zhàn)

2.?安裝和配置偽分布式Hadoop實(shí)戰(zhàn)

3．安裝和配置分布式Hadoop集群實(shí)戰(zhàn)

第3個(gè)主題：HDFS

1.?HDFS命令行操作實(shí)戰(zhàn)

2.?HDFS的配置管理

3.?NameNode的工作機(jī)制

第4個(gè)主題：HDFS案例實(shí)戰(zhàn)

1.?HDFS案例的分析和設(shè)計(jì)

2.?環(huán)境搭建

3.使用Hadoop?Java?API實(shí)現(xiàn)對HDFS寫入、讀取、刪除文件等操作

第5個(gè)主題：MapReduce剖析

1.?MapReduce的原理和運(yùn)行過程

2.?構(gòu)建MapReduce的開發(fā)環(huán)境

第6個(gè)主題：MapReduce案例實(shí)戰(zhàn)

1.?使用MapReduce的Java接口實(shí)現(xiàn)經(jīng)典的WordCount

2.?wordcount運(yùn)行過程解析

3.?MapReduce實(shí)現(xiàn)數(shù)據(jù)去重操作

4.?MapReduce實(shí)現(xiàn)數(shù)據(jù)排序

5.?MapReduce實(shí)現(xiàn)數(shù)據(jù)平均數(shù)據(jù)的計(jì)算

第二部分：

第1個(gè)主題：HBase架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)剖析

1.?HBase架構(gòu)設(shè)計(jì)

2.?HBase中的表結(jié)構(gòu)等

3.?HBase：Master、Region、Region?Server

第2個(gè)主題：HBase案例實(shí)戰(zhàn)1---使用HBase實(shí)現(xiàn)微博系統(tǒng)

1.?項(xiàng)目架構(gòu)和設(shè)計(jì)

2.?開發(fā)環(huán)境搭建

3.?實(shí)現(xiàn)用戶登錄和注銷

4.“關(guān)注”功能的設(shè)計(jì)和實(shí)現(xiàn)

5.“發(fā)微博”功能的設(shè)計(jì)和實(shí)現(xiàn)

6.發(fā)布和運(yùn)行整個(gè)基于HBase的微博系統(tǒng)

第3個(gè)主題：HBase與MapReduce

1.?HBase與MapReduce的關(guān)系

2.?HBase如何使用MapReduce

第4個(gè)主題：HBase案例實(shí)戰(zhàn)2---話單查詢與統(tǒng)計(jì)

1.?項(xiàng)目架構(gòu)設(shè)計(jì)

2.?開發(fā)環(huán)境搭建

3.?話單入庫和查詢的設(shè)計(jì)與實(shí)現(xiàn)

4.統(tǒng)計(jì)功能的設(shè)計(jì)與實(shí)現(xiàn)

第5個(gè)主題：MapReduce高級實(shí)戰(zhàn)

1.?Split實(shí)現(xiàn)剖析

2.?自定義輸入的實(shí)現(xiàn)

3.?Reduce的partition?

4.?案例實(shí)戰(zhàn)

第6個(gè)主題：安裝和使用Hive

1.?Hive剖析

2.?安裝Hive

3.Hive的基本使用

第7個(gè)主題：Hive與HDFS、MapReduce

1.?Hive向HDFS存入結(jié)構(gòu)化數(shù)據(jù)

2.?使用MySQL作為Hive的元數(shù)據(jù)庫

3.Hive與MapReduce

第8個(gè)主題：Hive案例實(shí)戰(zhàn)---數(shù)據(jù)統(tǒng)計(jì)

1.?項(xiàng)目架構(gòu)設(shè)計(jì)

2.?表結(jié)構(gòu)設(shè)計(jì)

3.數(shù)據(jù)的插入與統(tǒng)計(jì)實(shí)現(xiàn)

第三部分：

第1個(gè)主題：Hadoop集群配置:機(jī)架感知,開啟壓縮和任務(wù)均衡

Hadoop?集群安裝和開啟LZO壓縮

Hadoop?配置集群具備機(jī)架感知

Hadoop?集群開啟公平任務(wù)調(diào)度器

Hadoop?集群開啟能力任務(wù)調(diào)度器

第2個(gè)主題：Hadoop?集群維護(hù)與管理

查看集群狀態(tài)

HDFS數(shù)據(jù)管理

Mapreduce?任務(wù)管理

HDFS安全模式

模擬集群Namenode,jobtrack失效

添加刪除節(jié)點(diǎn)

數(shù)據(jù)平衡

文件數(shù)據(jù)跨集群拷貝

集群升級

第3個(gè)主題：Hadoop?集群規(guī)劃和測試

1.?集群規(guī)劃(硬件,系統(tǒng),網(wǎng)絡(luò))

2.?集群性能測試

第4個(gè)主題：Hadoop?集群監(jiān)控和運(yùn)維

1.?使用Ganglia?監(jiān)控Hadoop集群

2.?使用Cacti?監(jiān)控操作系統(tǒng)

第5個(gè)主題：Hadoop?HDFS高可用

Hadoop?元數(shù)據(jù)NFS備份方案

Hadoop?SecondaryNameNode備份方案

Hadoop?CheckpointNode備份方案

Hadoop?BackupNode備份方案

Hadoop?Cloudera?HA?Namenode?方案

第6個(gè)主題：Hadoop開發(fā)者之路

1.?Hadoop技能模型

2.?Hadoop開發(fā)者最佳學(xué)習(xí)路線和方式

3.Hadoop開發(fā)者最佳成長路線