曙海教學優(yōu)勢
該課程，秉承21年教學品質，以項目實現(xiàn)為導向,面向企事業(yè)單位項目實際需求,講師將會與您分享設計的全流程以及工具的綜合使用技巧與經(jīng)驗。課程可定制,線下/線上/上門皆可,全國免費報名熱線:4008699035。
曙海培訓的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關系,合作企業(yè)三十多萬家。曙海的課程得到業(yè)內企事業(yè)單位廣泛贊譽。
?
|
課程主題
|
主要內容
|
案例和演示
|
|
Hadoop的來源和動機
|
傳統(tǒng)大規(guī)模系統(tǒng)存在的問題
Hadoop概述
Hadoop分布式文件系統(tǒng)??????
MapReduce工作原理????????
Hadoop集群剖析?????????? ?
?Hadoop生態(tài)系統(tǒng)對一種新的解決方案的需求
Hadoop的行業(yè)應用案例分析
Hadoop在云計算和大數(shù)據(jù)的位置和關系
|
數(shù)據(jù)開放,數(shù)據(jù)云服務平臺(DAAS)時代
Hadoop平臺在數(shù)據(jù)云平臺(DAAS)上的天然優(yōu)勢
數(shù)據(jù)云平臺(DAAS?平臺)組成部分
互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)案例
Hadoop構建構建游戲云(Web Game Daas)平臺
|
|
Hadoop生態(tài)系統(tǒng)介紹和演示
|
Hadoop HDFS?和?MapReduce
Hadoop數(shù)據(jù)庫之HBase
Hadoop數(shù)據(jù)倉庫之Hive
Hadoop數(shù)據(jù)處理腳本Pig
Hadoop數(shù)據(jù)接口Sqoop和Flume，Scribe DataX
Hadoop工作流引擎?Oozie
|
運用Hadoop自下而上構建大規(guī)模企業(yè)數(shù)據(jù)倉庫
暴風影音數(shù)據(jù)倉庫實戰(zhàn)解析
|
|
Hadoop組件詳解
|
Hadoop HDFS?基本結構
Hadoop HDFS?副本存放策略
Hadoop NameNode?詳解
Hadoop SecondaryNameNode?詳解
Hadoop DataNode?詳解
Hadoop JobTracker?詳解
Hadoop TaskTracker?詳解
|
Hadoop Mapper類核心代碼
Hadoop Reduce類核心代碼
Hadoop?核心代碼
|
|
Hadoop安裝和部署
|
Hadoop系統(tǒng)模塊組件概述
Hadoop試驗集群的部署結構
Hadoop?安裝依賴關系
Hadoop?生產(chǎn)環(huán)境的部署結構
Hadoop集群部署
Hadoop?高可用配置方法
Hadoop?集群簡單測試方法
Hadoop?集群異常Debug方法
?
|
Hadoop安裝部署實驗
Red hat Linux基礎環(huán)境搭建
Hadoop?單機系統(tǒng)版本安裝配置
Hadoop?集群系統(tǒng)版本安裝和啟動配置
使用?Hadoop MapReduce Streaming快速測試系統(tǒng)
Hadoopcore-site，hdfs-site，mapred-site?配置詳解
|
|
Hadoop集群規(guī)劃
|
Hadoop?集群內存要求
Hadoop集群磁盤分區(qū)
集群和網(wǎng)絡拓撲要求
集群軟件的端口配置
|
針對NameNode Jobtracker DataNode TaskTracker Hiveserver?等不同組件需求推薦服務器配置
|
|
MapReduce?算法原理
|
Hadoop MapReduce?算法的原理和優(yōu)化思想
靈活運用MapReduce?實現(xiàn)算法
|
運用MapReduce?構建數(shù)據(jù)庫算法
Select Sort GrougBy Sum Count
Join?新進流失算法
使用?Y-Smart?快速轉換SQL為MapReduce?代碼
|
|
編寫MapReduce高級程序
|
使用?Hadoop MapReduce Streaming?編程
MapReduce流程??????????
剖析一個MapReduce程序
基本MapReduceAPI?概念??
驅動代碼?Mapper、Reducer
Hadoop流
API?使用Eclipse進行快速開發(fā)???????????????
新MapReduce API
MapReduce的優(yōu)化
MapReduce的任務調度
MapReduce編程實戰(zhàn)
如何利用其他Hadoop相關技術，包括Apache Hive，?Apache Pig，Sqoop和Oozie等
滿足解決實際數(shù)據(jù)分析問題的高級Hadoop API
|
Hadoop Streaming?和?Java MapReduce Api?差異。
?MapReduce?實現(xiàn)數(shù)據(jù)庫功能
利用Combiners來減少中間數(shù)據(jù)
編寫Partitioner來優(yōu)化負載平衡
直接訪問Hadoop分布式文件系統(tǒng)（HDFS）
Hadoop的join操作
輔助排序在Reducer方的合并
定制Writables和WritableComparables
使用SequenceFiles和Avro文件保存二進制數(shù)據(jù)
創(chuàng)建InputFormats OutputFormats
Hadoop的二次排序
Hadoop的海量日志分析
|
