?Spark培訓(xùn)課程
培訓(xùn)目標(biāo)：
1.?全面了解大數(shù)據(jù)實(shí)時(shí)處理技術(shù)的相關(guān)知識(shí)。
2.?學(xué)習(xí)Spark的核心技術(shù)方法以及應(yīng)用特征。
3.?深入使用Spark在大數(shù)據(jù)實(shí)時(shí)處理中的使用。
4.?掌握BDAS相關(guān)工具及其主要功能。
培訓(xùn)大綱：
第一部分：
第一講?Spark大數(shù)據(jù)實(shí)時(shí)處理技術(shù)
??1）大數(shù)據(jù)處理技術(shù)的背景
??2）Spark實(shí)時(shí)處理技術(shù)及案例介紹
??3）Spark架構(gòu)實(shí)例分析
??4）Spark應(yīng)用場(chǎng)景分析
??5）Spark與Hadoop、Storm的關(guān)系及選項(xiàng)
第二講?Spark安裝配置及監(jiān)控
??1）Centos環(huán)境的準(zhǔn)備
??2）Hadoop2.X和Scala
??3）搭建Spark開(kāi)發(fā)環(huán)境
??4）Spark監(jiān)控管理
第三講?Scala編程語(yǔ)言使用概述
??1)?Scala編程語(yǔ)言
??2)?基本數(shù)據(jù)類型
??3)?操作基本數(shù)據(jù)類型
??4)?類和對(duì)象
??5)?組合和繼承
第四講?Spark分布式計(jì)算框架及案例分析
??1）Spark計(jì)算模型及案例分析
??2）彈性分布式數(shù)據(jù)集RDD及使用場(chǎng)景
??3）Spark的數(shù)據(jù)存儲(chǔ)
??4）Transformation算子分類及功能
??5）Actions算子分類及功能
第五講?Spark內(nèi)部工作機(jī)制詳解
??1)??Spark底層實(shí)現(xiàn)原理
??2)??Spark應(yīng)用執(zhí)行機(jī)制
??3)??Spark調(diào)度與任務(wù)分配模塊
??4)??FIFO和FAIR調(diào)度算法
第六講?Spark數(shù)據(jù)讀取與存儲(chǔ)
???1）Spark的I/O機(jī)制
???2）Spark中的數(shù)據(jù)壓縮
???3）Spark的數(shù)據(jù)讀取與存儲(chǔ)
???4）Spark數(shù)據(jù)讀寫(xiě)流程
第二部分：
第七講?Spark通信模塊和容錯(cuò)機(jī)制
???1）Spark通信模塊
???2）通信框架AKKA
???3）容錯(cuò)機(jī)制和Lineage依賴
???4）檢查點(diǎn)機(jī)制進(jìn)行容錯(cuò)
???5）Shuffle過(guò)程
第八講?SQL?On?Spark
???1)?關(guān)系數(shù)據(jù)庫(kù)與NoSql數(shù)據(jù)庫(kù)的選型對(duì)比
??2）SQL?On?Spark的適用場(chǎng)景
??3)?BDAS數(shù)據(jù)分析軟件棧
???4)?SQL?On?Spark
???5)?Spark?SQL工具使用
???6)?Shark工具使用
??7)?Hive?on?Spark工具
??8)?Spark操作HBase中的數(shù)據(jù)
第九講?Spark流數(shù)據(jù)處理工具Streaming
???1）?流數(shù)據(jù)處理工具Streaming的適用場(chǎng)景
???2）?Spark?Streaming架構(gòu)
???3）?Spark?Streaming原理
???4）?Spark?Streaming實(shí)例
第十講?Spark中的大數(shù)據(jù)挖掘工具MLlib
???1）大數(shù)據(jù)挖掘工具MLlib及適用場(chǎng)景
???2）MLlib的數(shù)據(jù)存儲(chǔ)
???3）MLlib中的聚類和分類
???4）MLlib算法應(yīng)用實(shí)例
???5）利用MLlib進(jìn)行推薦
第十一講?Spark大規(guī)模圖處理工具GraphX
???1）大規(guī)模圖處理工具GraphX
???2）GraphX的運(yùn)行架構(gòu)
???3）GraphX操作使用
???4）GraphX使用實(shí)例
第十二講?Spark在業(yè)界的應(yīng)用案例
???1）Spark在Amazon的應(yīng)用
???2）Spark在Yahoo!的應(yīng)用
???3）Spark在Telefonica的應(yīng)用
???4）Spark在淘寶的應(yīng)用
