課程簡介

????從最初的“數(shù)據(jù)倉庫”到后來的“數(shù)據(jù)湖”，再到今天的“數(shù)據(jù)中臺”， 企業(yè)數(shù)據(jù)平臺的設(shè)計(jì)理念也在不斷進(jìn)化，方法論革新的背后是大數(shù)據(jù)技術(shù)的強(qiáng)力支撐，本課程面向企業(yè)大數(shù)據(jù)平臺架構(gòu)設(shè)計(jì)、開發(fā)、實(shí)施人員。將大數(shù)據(jù)平臺的架構(gòu)設(shè)計(jì)和原型系統(tǒng)的具體實(shí)現(xiàn)結(jié)合在一起講解，希望能幫助學(xué)員有效地學(xué)習(xí)大數(shù)據(jù)平臺的設(shè)計(jì)方法和各項(xiàng)技術(shù)，并能融匯貫通。

課程面向中高級技術(shù)人員，側(cè)重與多項(xiàng)技術(shù)的整合，架構(gòu)的實(shí)現(xiàn)，對其中某一單獨(dú)的技術(shù)細(xì)節(jié)并未太深入。

課程安排了實(shí)際操作，學(xué)員通過系統(tǒng)的部署，演示代碼的運(yùn)行和測試數(shù)據(jù)的導(dǎo)入等來源于實(shí)踐的訓(xùn)練，可以快速的掌握架構(gòu)的核心并應(yīng)用于實(shí)際項(xiàng)目。要求學(xué)員有在Linux下進(jìn)行腳本編程的經(jīng)驗(yàn)。

大綱

第一章 中臺簡介

第二章中臺架構(gòu)

中臺的技術(shù)體系

基礎(chǔ)設(shè)施及集群規(guī)劃

第三章 系統(tǒng)典型組成

Linux

Redis

CDH

MySQL

Spark

Nginx

高可用概述

第四章 大數(shù)據(jù)平臺架構(gòu)設(shè)計(jì)

案例簡介

架構(gòu)方案講解

實(shí)驗(yàn)

第五章 數(shù)據(jù)采集

技術(shù)堆棧與選型

?基于Camel的實(shí)時采集

實(shí)驗(yàn)

第六章 主數(shù)據(jù)管理

建設(shè)策略

實(shí)驗(yàn)

第7章 實(shí)時計(jì)算

技術(shù)堆棧與選型

流計(jì)算工程結(jié)構(gòu)

集成Kafka

集成Hbase

實(shí)驗(yàn)

第8章 大數(shù)據(jù)與數(shù)據(jù)倉庫

數(shù)據(jù)倉庫的基本理論

數(shù)據(jù)倉庫架構(gòu)

源數(shù)據(jù)層的設(shè)計(jì)與構(gòu)建

明細(xì)數(shù)據(jù)層的設(shè)計(jì)與構(gòu)建

匯總數(shù)據(jù)層的設(shè)計(jì)與構(gòu)建

實(shí)驗(yàn)

第9章 數(shù)據(jù)存儲

NoSQL數(shù)據(jù)庫概覽

HBase

實(shí)驗(yàn)

第10章 作業(yè)調(diào)度

技術(shù)堆棧與選型

工作流的組織策略

實(shí)現(xiàn)工作流

部署與提交工作流

實(shí)驗(yàn)

?

第11章 擴(kuò)展討論（選）

擴(kuò)展：數(shù)據(jù)湖架構(gòu)

數(shù)據(jù)中臺與業(yè)務(wù)中臺

業(yè)務(wù)中臺與微服務(wù)

區(qū)塊鏈結(jié)合