?決勝大數(shù)據(jù)時代：Hadoop&Yarn&Spark企業(yè)級最佳實踐

培訓內容

第一部分

1、Hadoop三問（徹底理解Hadoop）

2、Hadoop集群與管理（具備構建并駕馭Hadoop集群能力）

3、徹底掌握HDFS(具備開發(fā)自己網(wǎng)盤的能力)

4、徹底掌握HDFS(具備修改HDFS具體源碼實現(xiàn)的能力)

第二部分

1、徹底掌握MapReduce（從代碼的角度剖析MapReduce執(zhí)行的具體過程并具備開發(fā)MapReduce代碼的能力）

2、徹底掌握MapReduce（具備掌握Hadoop如何把HDFS文件轉化為Key-Value讓供Map調用的能力）

3、徹底掌握MapReduce（具備掌握MapReduce內部運行和實現(xiàn)細節(jié)并改造MapReduce的能力）

4、Hadoop集群高級實踐(具體Hadoop企業(yè)管理員的實際能力)

第三部分

1、實戰(zhàn)ZooKeeper（具備理解并通過命令行和Java兩種方式操作ZooKeeper的能力）

2、實戰(zhàn)HBase（具備掌握HBase企業(yè)級開發(fā)和管理的能力）

3、實戰(zhàn)Pig（具備掌握Pig企業(yè)級開發(fā)和管理的能力）

4、實戰(zhàn)Hive(具備掌握Hive企業(yè)級開發(fā)和管理的能力)

第四部分

1、實戰(zhàn)Sqoop（具備使用Sqoop自由轉換傳統(tǒng)關系型數(shù)據(jù)庫和HDFS中數(shù)據(jù)的能力）

2、實戰(zhàn)Flume（具備使用Flume收集和管理分布式日志的能力）

3、Hadoop系統(tǒng)管理進階（具備掌握MapReduce內部運行和實現(xiàn)細節(jié)并改造MapReduce的能力）

4、電信日志項目（具備掌握Hadoop完整項目的分析、開發(fā)、部署的全過程的能力）

5、某知名電商公司Hadoop實施全程揭秘（具備掌握商業(yè)級別Hadoop的分析、開發(fā)、部署的全過程的能力）

第五部分

1、YARN（具備理解和使用YARN的能力）

2、Yarn資源調度器（具備理解和使用YARN的能力）

3、ResourceManager深度剖析（具備深刻理解ResourceManager的能力）

4、NodeManager深度剖析（具備掌握NodeManager及Container的能力）

第六部分

1、Spark的架構設計(具備掌握Spark架構的能力)

2、Spark編程模型(具備掌握編程核心的能力)

3、深入Spark內核(具備掌握Spark內核的能力)

4、Spark的廣播變量與累加器(具備掌握Spark廣播和累加器的能力)

5、Spark多語言編程(具備掌握多語言編程的能力)

6、SparkContext解析和數(shù)據(jù)加載以及存儲(具備掌握Spark加載以處理數(shù)據(jù)的能力)

第七部分

7、深入實戰(zhàn)RDD(具備掌握Spark?RDD深入處理計算和優(yōu)化計算的能力)

8、Shark的原理和使用(具備掌握Shark用于數(shù)據(jù)分析統(tǒng)計的能力)

9、Spark的機器學習(具備掌握Spark的機器學習的能力)

10、Spark的圖計算GraphX(具備掌握Spark圖計算的能力)

11、Spark?SQL(具備掌握Spark?SQL進行的能力)

第八部分

12、Spark實時流處理(具備掌握Spark?實時流處理技術的能力)

13、Spark程序的測試(具備掌握Spark程序測試的能力)

14、Spark的優(yōu)化(具備掌握Spark優(yōu)化的能力)

15、Spark?on?Yarn(具備掌握Spark?on?Yarn的能力)

16、JobServer(具備掌握Spark?as?a?cloud?service的能力)

17、Spark項目案例實戰(zhàn)(具備掌握Spark項目進行數(shù)據(jù)處理的能力)

?