Spark概述

• 大數(shù)據(jù)起源
• 離線分析、在線分析與流計(jì)算
• 開源大數(shù)據(jù)包Spark概述
• Spark的擴(kuò)展包SQL、MLLib和GraphX
• 開源社區(qū)的組織結(jié)構(gòu)與開源條款
• 案例解析：一個(gè)跨國(guó)IT企業(yè)的開源包使用法務(wù)流程與風(fēng)險(xiǎn)規(guī)避

Scala編程原理

• Scala：函數(shù)式編程
• 安裝Scala集成開發(fā)環(huán)境
• 使用Scala分析北京汽車搖號(hào)結(jié)果
• 將MapReduce程序遷移到Spark上
• 實(shí)戰(zhàn)練習(xí)：在本機(jī)上使用scala進(jìn)行簡(jiǎn)單的spark編程

Spark Streaming流計(jì)算

• Spark Streaming概述
• Kafka概述
• 基于Kafka數(shù)據(jù)源的Spark Stream練習(xí)
• 在本機(jī)上使用scala進(jìn)行簡(jiǎn)單地Spark Streaming編程，數(shù)據(jù)源使用Kafka

Spark的分布式存儲(chǔ)

• Standalone Spark集群配置
• HDFS集群配置
• 編寫Scala程序訪問HDFS
• 實(shí)戰(zhàn)練習(xí)：在本機(jī)上使用scala進(jìn)行簡(jiǎn)單的HDFS數(shù)據(jù)訪問

Spark與NOSQL

• NOSQL存儲(chǔ)特征與數(shù)據(jù)格式
• 使用Scala進(jìn)行HBase數(shù)據(jù)分析示例
• 實(shí)戰(zhàn)練習(xí)：在本機(jī)上使用scala進(jìn)行HBase數(shù)據(jù)訪問

Spark與Yarn

• Spark on Yarn集群配置
• Spark on Yarn與standalone相比的優(yōu)勢(shì)
• 案例分析：某巨型互聯(lián)網(wǎng)公司基于Spark on Yarn的超大規(guī)模集群部署案例分析

Spark與MapReduce

• Spark計(jì)算模型和MapReduce的對(duì)比
• Spark與MapReduce的相同點(diǎn)
• Spark與MapReduce的差異

Spark性能

• Spark資源調(diào)度方法
• CPU、內(nèi)存、網(wǎng)絡(luò)與存儲(chǔ)配置對(duì)性能的影響及常用調(diào)優(yōu)參數(shù)
• 案例解析：一個(gè)跨國(guó)IT企業(yè)的spark集群構(gòu)建方法與參數(shù)選擇

Spark與MLlib

• 機(jī)器學(xué)習(xí)的常用算法
• 使用Spark MLlib實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法

Spark與ZooKeeper

• 通過(guò)ZooKeeper實(shí)現(xiàn)Spark高可用架構(gòu)

Spark的案例

• 一個(gè)基于Spark與Hadoop的實(shí)時(shí)分析系統(tǒng)架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)—某銀行的大數(shù)據(jù)體系介紹以及spark在其中扮演的角色
• 方案設(shè)計(jì)
• 分析算法確定
• 分析算法與數(shù)據(jù)流設(shè)計(jì)
• 技術(shù)實(shí)現(xiàn)演示?