
曙海教學優(yōu)勢
本課程面向企事業(yè)項目實際需要,秉承二十一年積累的教學品質,Spark大數(shù)據處理案例分析與實踐培訓課程-以項目實現(xiàn)為導向,老師將會與您分享設計的全流程以及工具的綜合使用經驗、技巧。線上/線下/上門皆可,Spark大數(shù)據處理案例分析與實踐培訓課程-專家,課程可定制,熱線:4008699035。
曙海的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。曙海的課程在業(yè)內有著響亮的知名度。大批企業(yè)和曙海
建立了良好的合作關系,合作企業(yè)30萬+。
?
Spark已經被不少互聯(lián)網公司采用,大部分數(shù)據挖掘算法和迭代式算法在逐步MapReduce平臺遷移到Spark平臺中,包括阿里巴巴(廣告系統(tǒng)),騰訊(廣點通精準推薦),百度,優(yōu)酷土豆,360,支付寶等互聯(lián)網公司已經在線上產品中使用spark,且取得了令人滿意的效果,另外,部分省份的運營商也正在嘗試使用spark解決數(shù)據挖掘和分析問題,部分銀行,如工商銀行,也正在嘗試spark平臺。
本課程將為大家全面而又深入的介紹Spark平臺的構建流程,涉及Spark系統(tǒng)基礎知識,概念及架構, Spark實戰(zhàn)技巧,Spark經典案例等。
通過本課程實踐,幫助學員對Spark生態(tài)系統(tǒng)有一個清晰明了的認識;理解Spark系統(tǒng)適用的場景;掌握Spark等初中級應用開發(fā)技能;搭建穩(wěn)定可靠的Spark集群,滿足生產環(huán)境的標準;了解和清楚大數(shù)據應用的幾個行業(yè)中的經典案例,包括阿里巴巴,騰訊,百度等互聯(lián)網行業(yè),中國移動和聯(lián)通等運營商。
各類 IT/軟件企業(yè)和研發(fā)機構的軟件架構師、軟件設計師、程序員。對于懷有設計疑問和問題,需要梳理解答的團隊和個人,效果最佳。
1) 了解Java語言(Scala語言會作為課程內容進行介紹);?
2) 了解Linux系統(tǒng);
?
| 主題 | 內容 |
|
Spark大數(shù)據架構概述及案例簡介 |
1. 1介紹Spark大數(shù)據層級架構及各層軟件設計要求,包括數(shù)據收集,大數(shù)據存儲,大數(shù)據計算框架,大數(shù)據應用等 |
|
Spark產生動機與基本概念 |
2.1 Spark產生背景,與MapReduce對比,其優(yōu)缺點是什么 |
|
Spark安裝部署 |
3.1 Spark運行模式簡介、standlone模式、Spark on yarn模式 |
|
Spark程序設計實例 |
4.1 Scala語言基礎,常用語法以及庫函數(shù) |
|
Spark內部原理 |
5.1 Spark程序運行流程概述 |
|
Spark與外部系統(tǒng)整合 |
6.1 Spark與Kafka和flume結合 |
|
Spark調優(yōu)方法 |
Spark調優(yōu)思想、方法 |
|
Spark案例分析 |
基于Spark的商品推薦系統(tǒng),包括:項目背景、項目架構、項目實施 |
|
Spark Streaming應用及案例分析 |
8.1 Spark Streaming產生動機 |
|
Spark SQL |
9.1 Spark SQL定位 |
|
MLlib |
10. 介紹Spark的數(shù)據挖掘庫MLlib,重點介紹其內部的幾個分類算法,聚類算法和推薦算法,包括邏輯回歸,K-Means,協(xié)同過濾等 |
|
GraphX |
11. 介紹Spark內部的圖計算框架GraphX,重點介紹它的基本原理及使用方法 |