5
（7942人評價）
筆記：(65387)
學員：(97562)
瀏覽：(237018)
曙海教學優(yōu)勢
該課程，秉承21年教學品質，以項目實現(xiàn)為導向,面向企事業(yè)單位項目實際需求,講師將會與您分享設計的全流程以及工具的綜合使用技巧與經驗。課程可定制,線下/線上/上門皆可,全國免費報名熱線:4008699035。
曙海培訓的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關系,合作企業(yè)三十多萬家。曙海的課程得到業(yè)內企事業(yè)單位廣泛贊譽。
?Hadoop、spark和NoSQL大數(shù)據(jù)實戰(zhàn)培訓課程與咨詢
當下是大數(shù)據(jù)時代，為構建大數(shù)據(jù)平臺，技術人員需要對分布式計算平臺有一定深入的理解和應用。
| 大數(shù)據(jù)在國內的運用 | 大數(shù)據(jù)在國內的使用介紹 離線計算框架介紹 流式計算框架介紹 內存計算框架介紹 內存流式計算介紹 |
| 大數(shù)據(jù)的整體技術架構 | 開源大數(shù)據(jù)技術架構 開源大數(shù)據(jù)常用組件之間的依賴關系 離線計算框架介紹 —Mapreduce、Hive、Tez、Presto、Kylin 實時查詢框架介紹 —NoSQL、Hbase 實時計算框架介紹 —Kafka、Strom、Spark Streaming 內存計算框架介紹 —Spark、SparkSQL、SparkMllib、SparkR 前沿大數(shù)據(jù)技術介紹 —Flink、Drill、Druid、KUDU等 海量日志快速檢索架構 —ELK（Elasticsearch、Logstash、Kibana）等 |
| Hadoop平臺優(yōu)化點 | Linux系統(tǒng)的優(yōu)化 最佳硬件的選擇和建議 HDFS架構和原理 HDFS的優(yōu)化、維護和經常出現(xiàn)的問題 MapReduce架構和原理 MapReduce的優(yōu)化、維護和經常出現(xiàn)的問題 Yarn的內存、CPU和IO的優(yōu)化 Hbase的優(yōu)化和生產環(huán)境常見的問題 Hive的優(yōu)化和Hive的改進工具介紹 Impala、Kylin、Presto工具介紹 RCFile、ORC和parquet格式介紹 |
| Hadoop核心組件的運維和配置 | HDFS的元數(shù)據(jù)管理? FSimage和Edit文件解析 手動修改FSimage和Edit文件 HDFS HA的架構運維解析 Yarn服務運維詳解 Yarn核心配置參數(shù)的詳解 Hbase服務運維詳解 手動設置Split和Compaction操作 RS宕機的運維處理 Hbase 超大表的優(yōu)化實踐 |
| Yarn實戰(zhàn) | Yarn架構和原理 ResourceManager工作原理 NodeManager工作原理 基于IO的控制這是 Yarn為某個運用獨立分配資 基于隊列的資源管理配置 基于底層硬件的SLA資源配置 不同部門或者用戶的資源配置 |
| NoSQL和Hbase使用 | NoSQL介紹 NoSQL應用場景 Hbase原理 Hmaster詳解 RegionServer詳解 Zookeeper介紹 Hbase安裝 Hbase邏輯視圖介紹 Hbase物理視圖介紹 Hbase的二級索引介紹 Hbase 的DDL和DML Hbase表的設計案例 Hbase的import功能介紹 MapReduce操作Hbase Hbase的 thrift Server介紹 Hbase 的API介紹 Hbase使用場景介紹 Hbase案例分析 |
| Spark Streaming原理和實踐 | Spark Streaming原理 ApplicationMaster工作原理 Yarn的資源控制機制 基于內存的控制設置 基于CPU的控制設置 ? Spark流式處理架構 ? DStream的特點 ? Dstream的操作和RDD的區(qū)別 ? SatefulRDD和windowRDD實戰(zhàn) ? Kafka+Spark Steaming實戰(zhàn) ? Spark Streaming的優(yōu)化 Kafka+Spark Streaming實例 ? 文本實例 網絡數(shù)據(jù)處理 |
| Spark SQL原理和實踐 | Spark SQL原理 ? Spark SQL的Catalyst優(yōu)化器 ? Spark SQL內核 ? Spark SQL和Hive DataFrame和DataSet架構 Fataframe、DataSet和Spark SQL的比較 SparkSQL parquet格式實戰(zhàn) Spark SQL的實例和編程 ? Spark SQL的實例操作demo Spark SQL的編程 |
| Spark優(yōu)化 | Spark SQL的優(yōu)化 基于Spark計算的文件格式選擇 Spark on Yarn的優(yōu)化 Spark SQL執(zhí)行計劃的優(yōu)化 Spark 內存管理的機制 |
| 互聯(lián)網大數(shù)案例分享 | 互聯(lián)網大數(shù)據(jù)應用案例介紹 某銀行基于大數(shù)據(jù)平臺風險監(jiān)控案例 某銀行基于大數(shù)據(jù)數(shù)據(jù)湖的案例 |
