主題1：大數(shù)據(jù)平臺(tái)方案與實(shí)施

·?大數(shù)據(jù)基礎(chǔ)與發(fā)展過(guò)程

·?傳統(tǒng)大規(guī)模數(shù)據(jù)處理與分析存在的問(wèn)題

·?大數(shù)據(jù)計(jì)算框架

o?離線計(jì)算框架

o?流式計(jì)算框架

o?內(nèi)存計(jì)算框架

·?大數(shù)據(jù)平臺(tái)方案

o?Apache Hadoop方案

§?核心組件

§?Hadoop 1.0與2.0版本關(guān)聯(lián)與區(qū)別

§?Hadoop生態(tài)系統(tǒng)

o?國(guó)外主流大數(shù)據(jù)平臺(tái)方案

§?CDH?、Hortonworks、MapR

§?傳統(tǒng)IT公司方案：Oracle Exadata，SAP HANA

o?國(guó)內(nèi)主流大數(shù)據(jù)平臺(tái)方案與廠商

o?大數(shù)據(jù)平臺(tái)方案比較

·?大數(shù)據(jù)的行業(yè)應(yīng)用

·?大數(shù)據(jù)的落地實(shí)施挑戰(zhàn)

?

主題2：大數(shù)據(jù)計(jì)算模型（一）–批處理MapReduce

·?MapReduce編程模型

o?Map處理

o?Reduce處理

o?MapReduce主程序設(shè)置

·?MapReduce處理流程

o?數(shù)據(jù)讀取collect

o?中間數(shù)據(jù)sort

o?中間數(shù)據(jù)spill

o?中間數(shù)據(jù)shuffle

o?聚合分析reduce

·?MapReduce開(kāi)發(fā)高級(jí)應(yīng)用

o?Combiner技術(shù)與應(yīng)用場(chǎng)景

o?Partitioner技術(shù)與應(yīng)用場(chǎng)景

o?多Reducers應(yīng)用

·?MapReduce開(kāi)發(fā)與應(yīng)用實(shí)踐

o?Hadoop平臺(tái)搭建與運(yùn)行

o?MapReduce安裝與部署

o?應(yīng)用案例：基于HDFS+MapReduce集成的服務(wù)器日志分析采集、存儲(chǔ)與分析MapReduce程序?qū)嵗_(kāi)發(fā)與運(yùn)行

?

主題3：大數(shù)據(jù)存儲(chǔ)系統(tǒng)

·?HDFS分布式文件系統(tǒng)

o?HDFS系統(tǒng)架構(gòu)與原理

o?NameNode功能詳解

§?fsimage和editslog

o?DataNode功能詳解

§?block的備份策略

o?HDFS讀寫(xiě)機(jī)制

o?HDFS高可用方案

§?NameNode單點(diǎn)故障解決方案

§?NFS冷備份

?

?

主題4：Hadoop軟件框架與優(yōu)化

·?Hadoop1.0框架

o?Hadoop JobTracker

o?Hadoop TaskTracker

·?Hadoop 2.0?框架

o?ResourceManager組件

o?NodeManager組件

o?ApplicationMaster組件

o?YARN組件

·?Hadoop 2.0?資源調(diào)度優(yōu)化

o?YARN調(diào)度原理

o?CapacityScheduler

o?FairScheduler

·?Hadoop框架組件調(diào)優(yōu)

o?慢啟動(dòng)優(yōu)化

o?心跳優(yōu)化

o?容錯(cuò)優(yōu)化

o?MR計(jì)算框架參數(shù)調(diào)優(yōu)

·?HDFS調(diào)優(yōu)

o?RPC線程調(diào)優(yōu)

o?本地文件系統(tǒng)調(diào)優(yōu)

o?RAID與卷管理調(diào)優(yōu)

o?小文件優(yōu)化

?

主題5：大數(shù)據(jù)計(jì)算模型（二）實(shí)時(shí)交互計(jì)算– Spark

·?Spark編程模型

o?Scala：面向函數(shù)的編程

o?Scala常見(jiàn)函數(shù)與開(kāi)發(fā)

o?Scala編譯和運(yùn)行

·?Spark RDD開(kāi)發(fā)模型

o?Spark RDD運(yùn)行機(jī)制

o?Spark RDD主要Transformation

§?map

§?flatmap

§?filter

§?union

§?reduceByKey

§?groupByKey

o?Spark RDD主要Action

§?count

§?collect

§?saveAsTextFile

o?Spark RDD依賴關(guān)系

§?寬依賴

§?窄依賴

·?Spark集群架構(gòu)與關(guān)鍵組件

·?Spark作業(yè)運(yùn)行機(jī)制

o?執(zhí)行DAG圖

o?任務(wù)集

o?executor執(zhí)行模型

·?Spark開(kāi)發(fā)與應(yīng)用實(shí)踐

o?Spark運(yùn)行環(huán)境搭建與部署

o?應(yīng)用案例

§?基于HDFS+Flume+Spark的服務(wù)器運(yùn)行日志實(shí)時(shí)分析Spark程序?qū)嵗_(kāi)發(fā)與運(yùn)行

?

?

主題6：SQL on Hadoop大數(shù)據(jù)查詢

·?基于MapReduce的大數(shù)據(jù)查詢Hive

o?Hive架構(gòu)與工作原理

o?Hive數(shù)據(jù)加載

o?Hive內(nèi)部表和外部表

o?Hive分區(qū)表和分通表

o?Hive的存儲(chǔ)方式

§?列存儲(chǔ)和行存儲(chǔ)

o?Hive SQL基本操作

·?基于Spark的大數(shù)據(jù)查詢SparkSQL

o?SparkSQL工作原理與執(zhí)行機(jī)制

o?SparkSQL數(shù)據(jù)模型DataFrame

o?SparkSQL數(shù)據(jù)讀取與結(jié)果保存

§?json

§?Hive table

§?Parquet file

§?RDD

o?SparkSQL和Hive的區(qū)別與聯(lián)系

o?實(shí)踐SparkSQL操作

§?數(shù)據(jù)表讀取、查詢與結(jié)果保存

?

?

主題7：大數(shù)據(jù)計(jì)算模型（三） 流計(jì)算

·?流數(shù)據(jù)處理應(yīng)用場(chǎng)景

o?流數(shù)據(jù)處理特點(diǎn)

o?流計(jì)算系統(tǒng)：SparkStreaming，Storm對(duì)比

·?流數(shù)據(jù)計(jì)算框架：Spark Streaming

o?Spark Streaming基本概念

o?Spark Streaming數(shù)據(jù)模型DStream

o?Spark Streaming架構(gòu)與工作機(jī)制

o?Spark Streaming數(shù)據(jù)源操作

o?Spark Streaming開(kāi)發(fā)示例

§?基于文件流的SparkStraeming程序

§?基于socket流的SparkStraeming程序

·?流數(shù)據(jù)計(jì)算框架：Storm

o?Storm基本概念

o?Storm編程模型

§?Spout，Bolt, Topology

o?數(shù)據(jù)流分組

o?并發(fā)度設(shè)置

o?容錯(cuò)機(jī)制

?

主題8：NoSQL數(shù)據(jù)庫(kù)

·?NoSQL數(shù)據(jù)庫(kù)

o?關(guān)系型數(shù)據(jù)庫(kù)瓶頸

o?NoSQL數(shù)據(jù)庫(kù)概念，分類與適用場(chǎng)景

§?HBase，MongoDB，Redis

·?列存儲(chǔ)NoSQL數(shù)據(jù)庫(kù)HBase

o?Hbase原理與數(shù)據(jù)模型

§?行、列簇、時(shí)間戳

o?HBase系統(tǒng)架構(gòu)

§?Hmaster

§?RegionServer

§?Zookeeper

o?HBase的讀寫(xiě)機(jī)制

§?LSM結(jié)構(gòu)的數(shù)據(jù)組織與讀寫(xiě)

o?Hbase表的設(shè)計(jì)原則

§?高表與寬表

§?rowkey設(shè)計(jì)

o?Hbase適用場(chǎng)景

?

主題9：大數(shù)據(jù)采集

·?RDBMS與Hadoop數(shù)據(jù)轉(zhuǎn)換工具Sqoop

o?Sqoop工作原理

·?文件采集工具Flume

o?Flume組件與運(yùn)行

o?Flume常用配置

·?Kafka

o?Kafka基本概念: producer, broker, consumer

o?Kafka集群架構(gòu)

o?Kafka運(yùn)行機(jī)制

o?Kafka應(yīng)用場(chǎng)景

?

?