| 一、云計算 |
云計算架構(gòu)概覽
云計算能帶來什么好處
云計算之虛擬機(jī)
云計算之大數(shù)據(jù)
經(jīng)典的使用案例 |
| 二、大數(shù)據(jù)之分布式存儲 |
分布式存儲-HDFS
大數(shù)據(jù)的好處
大數(shù)據(jù)的核心架構(gòu)
企業(yè)使用大數(shù)據(jù)的案例
什么是分布式文件系統(tǒng)和HDFS
HDFS設(shè)計目標(biāo)
HDFS的基本組件
HDFS架構(gòu)圖和工作原理
HDFS服務(wù)進(jìn)程詳解
HDFS的未來發(fā)展
NameNode詳解
DataNode詳解
HDFS副本備份策略 |
| 三、分布式存儲實(shí)戰(zhàn) |
HDFS實(shí)戰(zhàn)-命令行等使用
- HDFS安裝須知
- HDFS命令行工具
- 啟動、停止HDFS服務(wù)
- 如何查看HDFS日志
- 如何查看HDFS Web控制臺
- HDFS參數(shù)配置
- 上機(jī)練習(xí) HDFS實(shí)戰(zhàn)-Java API使用
- Eclipse 開發(fā)環(huán)境介紹
- HDFS 開發(fā)基本步驟
- HDFS Java API詳解 oConfiguration
oPath
oFileSystem
oStream、IOUtils
- HDFS Java API使用場景示例
- FuseHDFS
- WebHDFS RESTful API
上機(jī)練習(xí)
|
| 四、大數(shù)據(jù)之分布式計算 |
什么是MapReduce
MapReduce服務(wù)
MapReduce服務(wù)
MapReduce作業(yè)執(zhí)行流程
MapReduce錯誤處理機(jī)制
MapReduce高級特性
MapReduce任務(wù)調(diào)度
MapReduce任務(wù)調(diào)度 |
| 五、分布式計算實(shí)戰(zhàn) |
MapReduce命令行使用
- 啟動、停止MapReduce服務(wù)
- 查看MapReduce日志
- 查看MapReduce控制臺
- MapReduce參數(shù)配置
MapReduce 編程實(shí)戰(zhàn)
- MapReduce框架類庫介紹
- 開發(fā)MapReduce程序步驟
- WordCount流程分解
- WordCount代碼分析
- 上機(jī)練習(xí) Hadoop IO 框架
- 為什么要學(xué)習(xí)Hadoop I/O框架
- 序列化
- SequenceFile
- MapFile
- 數(shù)據(jù)完整性
- 數(shù)據(jù)壓縮 上機(jī)練習(xí)
|
| 六、大數(shù)據(jù)之?dāng)?shù)據(jù)倉庫-Ｈive |
什么是Hive？
Hive的架構(gòu)原理
如何利用Hive來建造數(shù)據(jù)倉庫？
Hive的使用
HQL的調(diào)優(yōu)：
操作練習(xí) |
七、大數(shù)據(jù)之NOSQL-Ｈbase
|
什么是Hbase？
- Hbase的架構(gòu)原理
- Hbase核心知識點(diǎn)
- HBase列族與列
- HBase時間戳
- HBase物理模型
- 數(shù)據(jù)存儲結(jié)構(gòu):LSM
- HBase Log
- HBase Filter HBase安裝
配置與優(yōu)化
表設(shè)計與相關(guān)參數(shù)
操作練習(xí)
|
| 八、大數(shù)據(jù)之內(nèi)存計算-Spark |
Spark架構(gòu)介紹
Scala介紹
Mesos介紹
Spark介紹
Spark原理及架構(gòu)剖析
Spark RDD計算模型解析
Spark的任務(wù)執(zhí)行機(jī)制解析
Spark的調(diào)試與任務(wù)分配
Spark的容錯機(jī)制剖析
Spark集群部署
- Standalone
- 集群分布式
- 與HDFS結(jié)合 Spark Shell命令行分析
構(gòu)建與運(yùn)行Spark應(yīng)用
Spark RDD操作方法解析
Spark作業(yè)測試解析
Spark的性能調(diào)優(yōu)
Spark生態(tài)體系剖析
- SPARK SQL
- SPARK ML
- SPARK Streaming
Spark應(yīng)用實(shí)踐
|
| 九、大數(shù)據(jù)之資源管理-Yarn |
Yarn 與MapReduce的不同
Yarn 原理與架構(gòu)
Apache YARN基本框架
Apache YARN工作流程
Apache YARN設(shè)計細(xì)節(jié)
Yarn 核心技術(shù)模塊原理解析
- Yarn ResouceManager原理解析
- Yarn NodeManager 原理解析
- Yarn ApplicationMaster MapReduce與YARN結(jié)合
如何與Yarn來結(jié)合
Yarn 配置及搭建
|
| 十、大數(shù)據(jù)之分析腳本工具-Pig |
Pig基礎(chǔ)
使用Pig進(jìn)行簡單數(shù)據(jù)分析
使用Pig處理復(fù)雜數(shù)據(jù)
使用Pig分析處理多數(shù)據(jù)集
擴(kuò)展Pig
Pig排錯和優(yōu)化 |
| 十一、數(shù)據(jù)安全 |
安全體系圖
應(yīng)用安全、數(shù)據(jù)安全
多級認(rèn)證體系
產(chǎn)品安全思路
學(xué)員實(shí)際演練與老師現(xiàn)場指導(dǎo) |
| 十二、云計算運(yùn)維體系 |
云計算運(yùn)維體系架構(gòu)圖
服務(wù)可靠性
提高服務(wù)質(zhì)量
降低服務(wù)成本
現(xiàn)場演示：實(shí)際項(xiàng)目中云計算運(yùn)維體系架構(gòu)圖。 |
| 十三、大練習(xí)：以實(shí)際項(xiàng)目案例為基礎(chǔ) |
進(jìn)行云計算分布式架構(gòu)的設(shè)計思路和流程實(shí)際演練。
（此內(nèi)容是本課程的重點(diǎn)內(nèi)容，課程壓軸大作，從而 使云計算架構(gòu)設(shè)計最終落地） |
