曙海教學優(yōu)勢
該課程，秉承21年教學品質，以項目實現(xiàn)為導向,面向企事業(yè)單位項目實際需求,講師將會與您分享設計的全流程以及工具的綜合使用技巧與經驗。課程可定制,線下/線上/上門皆可,全國免費報名熱線:4008699035。
曙海培訓的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關系,合作企業(yè)三十多萬家。曙海的課程得到業(yè)內企事業(yè)單位廣泛贊譽。
大數(shù)據(jù)培訓課程1
?
課程目標：
?
通過該課程的學習，能夠對大數(shù)據(jù)技術基礎、Hadoop、HBase、Hive、Spark、Flink、Kafka、Flume原理及使用有深入的了解，對企業(yè)數(shù)據(jù)平臺建設、開發(fā)、運維以及集群的穩(wěn)定運行有很大的幫助。
?
課程大綱：
?
|
主題 |
內容 |
|
? ? ? ? ? 大數(shù)據(jù)技術基礎&分布式文件系統(tǒng)&分布式資源調度系統(tǒng) |
大數(shù)據(jù)背景知識、發(fā)展歷程介紹 大數(shù)據(jù)平臺架構層次設計 HDFS核心概念、應用場景介紹以及體系結構詳解 HDFS高可用的原理介紹，共享存儲、active/standby詳解 HDFS常用命令實戰(zhàn)演示，數(shù)據(jù)文件、數(shù)據(jù)塊監(jiān)控介紹 NameNode核心元數(shù)據(jù)fsimage/editlog原理介紹 DataNode職責介紹、數(shù)據(jù)塊物理存儲結構介紹 YARN體系結構詳解 ResourceManager原理解析 NodeManager原理解析 容量調度器和公平調度器詳解 資源兩階段申請詳細流程詳細 MapReduce代碼實例演示 |
|
? ? ? ? ? Hive&Spark&Flink 計算引擎 |
Hive 數(shù)據(jù)庫/表/分區(qū)實戰(zhàn) Hive元數(shù)據(jù)庫介紹、演示 HIve高級函數(shù)實戰(zhàn) Spark體系結構原理解析 Spark常用算子程序演示 Spark On YARN運行實踐 Flink應用場景介紹，與Spark區(qū)別詳解 Flink Standalone和ON YARN運行模式與區(qū)別詳解 Flink常用算子實戰(zhàn) Kafka+Flink代碼實戰(zhàn)演示 Flink精確一次性語義原理介紹 Flink Checkpoint應用長以及原理介紹 |
|
? ? ? HBase體系結構與工作原理 |
HBase多模生態(tài)介紹 HBase體系結構詳解 HBase高并發(fā)原理、讀寫流程詳解 HBase數(shù)據(jù)模型詳解、實戰(zhàn)演示 HBase元數(shù)據(jù)存儲詳解 HBase讀寫表/過濾器/計數(shù)器代碼實戰(zhàn) HBase數(shù)據(jù)熱點產生原因以及預分區(qū)實戰(zhàn) |
|
? ? ? Flume/Kafka原理以及使用 ? |
Flume+Kafka在企業(yè)數(shù)據(jù)平臺的應用場景 Flume高可用體系結構原理介紹 Flume Source/Channel/Sink組件詳解、實戰(zhàn) Flume高可用采集系統(tǒng)設計 Kafka體系結構原理介紹 Kafka生產者、消費者代碼實戰(zhàn)演示 Kafka消費者組、TOPIC、分區(qū)、偏移量offset關系剖析 |
?
?
?
