數(shù)據(jù)中臺（大數(shù)據(jù)平臺）架構設計實驗課程

課程簡介

????從最初的“數(shù)據(jù)倉庫”到后來的“數(shù)據(jù)湖”，再到今天的“數(shù)據(jù)中臺”， 企業(yè)數(shù)據(jù)平臺的設計理念也在不斷進化，方法論革新的背后是大數(shù)據(jù)技術的強力支撐，本課程面向企業(yè)大數(shù)據(jù)平臺架構設計、開發(fā)、實施人員。將大數(shù)據(jù)平臺的架構設計和原型系統(tǒng)的具體實現(xiàn)結合在一起講解，希望能幫助學員有效地學習大數(shù)據(jù)平臺的設計方法和各項技術，并能融匯貫通。

課程面向中高級技術人員，側(cè)重與多項技術的整合，架構的實現(xiàn)，對其中某一單獨的技術細節(jié)并未太深入。

課程安排了實際操作，學員通過系統(tǒng)的部署，演示代碼的運行和測試數(shù)據(jù)的導入等來源于實踐的訓練，可以快速的掌握架構的核心并應用于實際項目。要求學員有在Linux下進行腳本編程的經(jīng)驗。

時間

2-3天，視企業(yè)要求。

大綱

第一章 中臺簡介

第二章中臺架構

中臺的技術體系

基礎設施及集群規(guī)劃

第三章 系統(tǒng)典型組成

Linux

Redis

CDH

MySQL

Spark

Nginx

高可用概述

第四章 大數(shù)據(jù)平臺架構設計

案例簡介

架構方案講解

實驗

第五章 數(shù)據(jù)采集

技術堆棧與選型

?基于Camel的實時采集

實驗

第六章 主數(shù)據(jù)管理

建設策略

實驗

第7章 實時計算

技術堆棧與選型

流計算工程結構

集成Kafka

集成Hbase

實驗

第8章 大數(shù)據(jù)與數(shù)據(jù)倉庫

數(shù)據(jù)倉庫的基本理論

數(shù)據(jù)倉庫架構

源數(shù)據(jù)層的設計與構建

明細數(shù)據(jù)層的設計與構建

匯總數(shù)據(jù)層的設計與構建

實驗

第9章 數(shù)據(jù)存儲

NoSQL數(shù)據(jù)庫概覽

HBase

實驗

第10章 作業(yè)調(diào)度

技術堆棧與選型

工作流的組織策略

實現(xiàn)工作流

部署與提交工作流

實驗

?

第11章 擴展討論（選）

擴展：數(shù)據(jù)湖架構

數(shù)據(jù)中臺與業(yè)務中臺

業(yè)務中臺與微服務

區(qū)塊鏈結合