?
大數(shù)據(jù)（Hadoop、Spark、NOSQL）案例分析與實踐培訓課程
培訓對象
各類 IT/軟件企業(yè)和研發(fā)機構(gòu)的軟件架構(gòu)師、軟件設計師、程序員。對于懷有設計疑問和問題，需要梳理解答的團隊和個人，效果最佳。
學員基礎
了解Linux系統(tǒng)及相關(guān)語言環(huán)境
課程大綱
?
| 主題 |
內(nèi)容 |
|
Hadoop簡介和生態(tài)系統(tǒng)介紹
|
傳統(tǒng)大規(guī)模數(shù)據(jù)分析存在的問題?
Hadoop概述?
Hadoop與分布式文件系統(tǒng)?
Hadoop生態(tài)系統(tǒng)
Hadoop的行業(yè)應用案例分析
Hadoop在云計算和大數(shù)據(jù)的位置和關(guān)系
Hadoop版本介紹
Hadoop與Google FS的關(guān)系
Hadoop在國內(nèi)的使用情況和未來
|
|
Hadoop安裝和主要配置文件介紹
|
Hadoop安裝所需軟件介紹
Hadoop單機安裝
Hadoop偽分布式安裝
Hadoop完全分布式安裝
Hadoop三個節(jié)點安裝的配置介紹
Hahoop多節(jié)點ssh配置
Hadoop格式化詳解
Hadoop核心配置文件介紹
核心配置文件core-site.xml
HDFS配置文件hdfs-site.xml
Mapreduce配置文件mapred-site.xml
master文件配置詳解
slave文件配置詳解
Hadoop啟動和停止方法一
—start-all.sh詳解
—stop-all.sh詳解
Hadoop的啟動和停止方法二
—hadoop-deamon.sh詳解
Hadoop安裝的常見錯誤介紹和解決方案
使用自帶的wordcount和pi測試集群安裝是否成功
使用Streaming來測試集群安裝是否成功
|
|
Hadoop組件介紹
|
Hadoop NameNode 介紹
Hadoop SecondaryNameNode 介紹?
Hadoop DataNode 介紹
Hadoop JobTracker 介紹?
Hadoop TaskTracker 介紹
|
|
Hadoop的HDFS模塊
|
HDFS架構(gòu)介紹
HDFS原理介紹
NameNode功能詳解
DataNode功能詳解
SecondaryNameNode功能詳解
HSFD的fsimage和editslog詳解
HDFS的block詳解
HDFS的block的備份策略
Hadoop的機架感知配置
HDFS的shell命令介紹
HDFS的thrift server服務介紹
HDFS的API接口介紹
HDFS的權(quán)限詳解
Hadoop的客服端接入案例
|
|
MapReducer入門
|
Mapreduce原理
MapReduce流程
剖析一個MapReduce程序
Mapper和Reducer抽象類詳解
Mapreduce的最小驅(qū)動類
MapReduce自帶的類型
自定義Writables和WritableComparables
Mapreduce的輸入InputFormats
MapReduce的輸出OutputFormats
Combiner詳解
Partitioner詳解
DistributeFileSystem詳解
Hadoop Tools工具介紹
Counter計數(shù)器詳解
自定義Counter計數(shù)器
基于Hadoop二次開發(fā)實戰(zhàn)
MapReduce的優(yōu)化
Map和Reduce的個數(shù)設置
Hadoop小文件優(yōu)化
任務調(diào)度
默認的任務調(diào)度
公平任務調(diào)度
能力任務調(diào)度
使用 Hadoop MapReduce Streaming 編程?
MapReduce的單元測試
|
|
Hive
|
Hive和Pig基礎
Hive、Impala和presto的比較?
Hive的作用和原理說明
Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關(guān)系
Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流
Hive部署和安裝
HiveCli的基本用法
Hive的server啟動
HQL基本語法
Hive的加載數(shù)據(jù)本地加載和HDFS加載
Hive的partition詳解
Hive的存儲方式詳解
RCFILE、TEXTFILE和SEQUEUEFILE
Hive的UDF和UDAF
Hive的transform詳解
Hive的JDBC連接
|
|
Sqoop介紹
|
Sqoop是什么
Sqoop安裝
Sqoop把mysql數(shù)據(jù)導入HDFS
Sqoop把HDFS數(shù)據(jù)導入Mysql
Sqoop吧Mysql數(shù)據(jù)導入Hive
Sqoop吧Mysql數(shù)據(jù)導入Hive分區(qū)
|
|
Hadoop集群配置和維護
|
Hadoop集群的部署要點
NameNode和SecondaryNameNode和JobTracker機器的配置要求
dataNode與tasktracker機器的配置要求
Hadoop集群管理的工具介紹
Ganglia和nigos監(jiān)控Hadoop集群介紹
Ambri介紹
添加和刪除節(jié)點演示
Namenode的單點解決方案
NameNode的NFS備份介紹
集群所有dataNode掛掉的故障介紹
集群NameNode的fsimage丟掉恢復方法
Hadoop集群維護的注意點
|
|
Hbase使用
|
Hbase原理
Hmaster詳解
RegionServer詳解
Zookeeper介紹
Hbase安裝
Hbase邏輯視圖介紹
Hbase物理視圖介紹
Hbase的二級索引介紹
Hbase的DDL和DML
Hbase表的設計案例
Hbase的import功能介紹
MapReduce操作Hbase
Hbase的thriftServer介紹
Hbase的API介紹
Hbase使用場景介紹
Hbase案例分析
|
|
大數(shù)據(jù)在國內(nèi)的運用
|
大數(shù)據(jù)在國內(nèi)的使用介紹
離線計算框架介紹
流式計算框架介紹
內(nèi)存計算框架介紹
內(nèi)存流式計算介紹
大數(shù)據(jù)實時請求框架介紹
大數(shù)據(jù)在移動的案例介紹
大數(shù)據(jù)在銀行的案例介紹
大數(shù)據(jù)在阿里的案例介紹
|
|
Spark生態(tài)介紹
|
Spark產(chǎn)生背景
Spark（內(nèi)存計算框架）
SparkSteaming（流式計算框架）
SparkSQL（ad-hoc）
Mllib（MachineLearning）
GraphX（bagel將被代）
|
|
spark安裝部署
|
Spark安裝簡介
Spark的源碼編譯
SparkStandalone安裝
SparkStandaloneHA安裝
Spark應用程序部署工具spark-submit
|
|
Spark運行架構(gòu)和解析
|
Spark的運行架構(gòu)
基本術(shù)語
運行架構(gòu)
SparkonStandalone運行過程
SparkonYARN運行過程
Spark運行實例解析
SparkonStandalone實例解析
SparkonYARN實例解析
|
|
SparkSQL原理和實踐
|
SparkSQL原理
SparkSQL的Catalyst優(yōu)化器
SparkSQL內(nèi)核
SparkSQL和Hive
SparkSQL的實例和編程
SparkSQL的實例操作demo
SparkSQL的編程
|
