| 實時計算原理與架構(gòu)概覽 |
| 實時計算架構(gòu)概覽 |
結(jié)合實際大數(shù)據(jù)應(yīng)用案例講解：
- 什么是實時計算
- 為什么需要實時計算
- 實時計算需要考慮哪些技術(shù)能力 實時計算的當前的典型參考技術(shù)架構(gòu)
流式計算對實時計算的支持。
|
| 實時計算系統(tǒng)架構(gòu)解析 |
分布式實時計算架構(gòu)藍圖
- 分布式實時計算任務(wù)模型的設(shè)計與實現(xiàn)：
- map/reduce
- fork/join 分布式計算的數(shù)據(jù)流緩沖區(qū)
- Kafka分布式消息系統(tǒng)
- Rabbitmq消息系統(tǒng)
- ActiveMQ消息系統(tǒng) 計算節(jié)點的數(shù)據(jù)流訪問接口
- 遠程調(diào)用
- Web服務(wù)
- Restful服務(wù) 計算服務(wù)的適用于管理
- 服務(wù)注冊、
- 服務(wù)發(fā)現(xiàn)
- 服務(wù)訪問 計算任務(wù)的調(diào)度機制
- 事件驅(qū)動的任務(wù)處理
- 實時調(diào)度管理
- 定時任務(wù)管理
|
| 實時計算的技術(shù)架構(gòu)實現(xiàn) |
| 實時計算的技術(shù)參考架構(gòu) |
常見的流式計算框架及其原理
- Storm、JStorm、
- Spark Streaming、
- Flink
|
| Storm的體系結(jié)構(gòu) |
Storm基本原理和基本元素
Storm集群的組成
搭建Storm集群環(huán)境
torm高可用性的實現(xiàn) |
| 流式計算簡介與環(huán)境準備 |
Storm應(yīng)用場景與對應(yīng)的技術(shù)方案
準備Storm的實驗環(huán)境 |
| 使用Storm進行流計算 |
Storm Demo演示：Word Count
數(shù)據(jù)流模型和WordCount的處理過程
Storm的數(shù)組分組策略 |
| 開發(fā)Storm程序 |
設(shè)計高并發(fā)、高可靠性的Topology
Worker、Task和Excutor的關(guān)系
開發(fā)Spout組件
開發(fā)Bolt組件
開發(fā)Topology：本地模式和集群模式
部署并運行Storm任務(wù) |
| 構(gòu)建高可用的實時計算架構(gòu) |
| 通過集群構(gòu)建高可用性 |
Storm集群在ZK上保存的數(shù)據(jù)結(jié)構(gòu)
Storm集群任務(wù)提交流程
Storm內(nèi)部通信機制
Storm的異常處理、容錯機制及如何保證數(shù)據(jù)不重復(fù)處理
Storm如何保證可靠性傳輸 |
集成Storm和
Redis |
MemCached和Redis內(nèi)存數(shù)據(jù)庫簡介
搭建和使用Redis
集成Storm和Redis |
| 集成Storm：Kafka |
消息系統(tǒng)與Kafka
搭建Kafka消息系統(tǒng)實驗環(huán)境
集成Storm和Kafka |
| 高可用實時計算架構(gòu)：Storm HA的實現(xiàn) |
什么是ZooKeeper
搭建ZooKeeper集群及ZooKeeper的特性
使用ZooKeeper實現(xiàn)Storm的HA |
| Spark體系結(jié)構(gòu)和SparkStreaming |
Spark架構(gòu)原理
解析Spark Streaming
Spark的體系架構(gòu)與搭建
利用ZooKeeper實現(xiàn)Spark Streaming的HA |
| Spark Streaming原理解析 |
執(zhí)行Spark Streaming程序
Spark Streaming的核心：DStream
開發(fā)Spark Streaming應(yīng)用程序和窗口操作
Spark Streaming的性能優(yōu)化 |
| 應(yīng)用實例設(shè)計與優(yōu)化 |
| 實時計算在資訊個性化推薦系統(tǒng)中應(yīng)用實例 |
推薦系統(tǒng)的整體架構(gòu)和流程
常用的推薦算法
- 基于用戶的協(xié)同過濾算法
- 基于物品的協(xié)同過濾算法
- ALS協(xié)同過濾算法
- 其他算法
|
