?Hadoop EDW 數(shù)據(jù)庫管理員培訓(xùn)
課程目標(biāo):
此課程面向公司系統(tǒng)管理員、數(shù)據(jù)庫管理員,希望轉(zhuǎn)型的DBA 等。以及對Hadoop感興趣的各類技術(shù)人員。通過此課程的培訓(xùn)，學(xué)員可以深入理解Hadoop技術(shù)架構(gòu),對Hadoop
運(yùn)作機(jī)制有清晰全面的認(rèn)識，可以獨(dú)立規(guī)劃及部署生產(chǎn)環(huán)境的Hadoop集群，掌握Hadoop基本運(yùn)維思路和方法，對Hadoop集群進(jìn)行管理和優(yōu)化。
目標(biāo)學(xué)員:軟件工程師、高級軟件工程師、數(shù)據(jù)庫開發(fā)人員、互聯(lián)網(wǎng)服務(wù)后臺開發(fā)人員、運(yùn)維人員????
????
培訓(xùn)大綱
一、集群安裝和管理??????
? 模塊一、Hadoop的來源和動機(jī)
?????? ·傳統(tǒng)大規(guī)模系統(tǒng)存在的問題
?????? · 對一種新的解決方案的需求
? 模塊二、EasyHadoop安裝和部署準(zhǔn)備
?????? ·Hadoop系統(tǒng)模塊組件概述
?????? ·Hadoop試驗(yàn)集群的部署結(jié)構(gòu)
?????? ·Hadoop 安裝依賴關(guān)系
?????? ·Hadoop 生產(chǎn)環(huán)境的部署結(jié)構(gòu)
? 模塊三、EasyHadoop集群安裝和部署
?????? ·Red hat Linux基礎(chǔ)環(huán)境搭建 上機(jī)實(shí)驗(yàn)
?????? ·Hadoop 單機(jī)系統(tǒng)版本 安裝配置 上機(jī)實(shí)驗(yàn)
?????? ·Hadoop 集群系統(tǒng)版本 安裝和啟動配置 上機(jī)實(shí)驗(yàn)
?????? ·Hadoop 集群異常Debug 方法
?????? ·Hadoop 集群簡單測試方法
?????? ·使用 Hadoop MapReduce Streaming 快速測試系統(tǒng)
? 模塊四、Hadoop組件詳解????
?????? ·Hadoop HDFS 基本結(jié)構(gòu)
?????? ·Hadoop HDFS 副本存放策略
?????? ·Hadoop NameNode 詳解
?????? ·Hadoop SecondaryNameNode 詳解
?????? ·Hadoop DataNode 詳解
?????? ·Hadoop JobTracker 詳解
?????? ·Hadoop TaskTracker 詳解
? 模塊五、EasyHadoop集群配置詳解????
?????? ·Hadoop core-site,hdfs-site,mapred-site 配置詳解
?????? ·Hadoop 高可用配置方法
二、集群優(yōu)化和管理??????
? 模塊六、EasyHadoop集群配置:機(jī)架感知,開啟壓縮和任務(wù)均衡????
??????? ·Hadoop 集群安裝和開啟LZO壓縮 上機(jī)實(shí)驗(yàn)
??????? ·Hadoop 配置集群具備機(jī)架感知? 上機(jī)實(shí)驗(yàn)
??????? ·Hadoop 集群開啟公平任務(wù)調(diào)度器 上機(jī)實(shí)驗(yàn)
??????? ·Hadoop 集群開啟能力任務(wù)調(diào)度器 上機(jī)實(shí)驗(yàn)
? 模塊七、Hadoop 集群維護(hù)與管理????
??????? ·查看集群狀態(tài)
??????? ·HDFS數(shù)據(jù)管理
??????? ·Mapreduce 任務(wù)管理
??????? ·HDFS安全模式
??????? ·模擬集群Namenode,jobtrack失效
??????? ·添加刪除節(jié)點(diǎn)
??????? ·數(shù)據(jù)平衡
??????? ·文件數(shù)據(jù)跨集群拷貝
??????? ·集群升級
? 模塊八、Hadoop 集群規(guī)劃和測試????
??????? ·集群規(guī)劃(硬件,系統(tǒng),網(wǎng)絡(luò))
??????? ·集群性能測試"
? 模塊九、Hadoop 集群監(jiān)控和運(yùn)維????
??????? ·使用Ganglia 監(jiān)控Hadoop集群
??????? ·使用Cacti 監(jiān)控操作系統(tǒng)"
? 模塊十、Hadoop HDFS高可用????
??????? ·Hadoop 元數(shù)據(jù)NFS備份方案
??????? ·Hadoop SecondaryNameNode備份方案
??????? ·Hadoop CheckpointNode備份方案
??????? ·Hadoop BackupNode備份方案
??????? ·Hadoop Cloudera HA Namenode 方案
三、EasyHive EasyPig 數(shù)據(jù)倉庫???????
? 模塊一、EasyHive倉庫集群
?????? ·Hive的作用和原理說明
?????? ·Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關(guān)系
?????? ·Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流
?????? ·Hive 部署和安裝
?????? ·Hive Cli 的基本用法
?????? ·HQL基本語法
? 模塊二、EasyHive倉庫集群高級
?????? ·使用JDBC 連接Hive進(jìn)行查詢和分析
?????? ·使用正則表達(dá)式加載數(shù)據(jù)
?????? ·HQL高級語法
?????? ·編寫UDF函數(shù)
?????? ·編寫UDAF自定義函數(shù)"
? 模塊三、EasyHive倉庫優(yōu)化
?????? ·使用Hive分區(qū)優(yōu)化查詢
?????? ·使用Lzo壓縮優(yōu)化數(shù)據(jù)存儲容量
?????? ·HiveServer HA (使用haproxy提高HiveServer可用性)
?????? ·編寫Hive自定義MapReduce腳本優(yōu)化查詢
?????? ·Hive數(shù)據(jù)傾斜和查詢性能優(yōu)化"
? 模塊四、EasyHive倉庫外圍系統(tǒng)????
?????? ·使用Sqoop進(jìn)行數(shù)據(jù)分析
?????? ·使用oozie配置工作流
?????? ·phpHiveAdmin 安裝和使用
