大數(shù)據(jù)的基礎(chǔ)介紹
|
- 什么是大數(shù)據(jù)
- 大數(shù)據(jù)時(shí)代的背景
- 學(xué)術(shù)上怎么定義大數(shù)據(jù)
- 大數(shù)據(jù)的構(gòu)成
- 大數(shù)據(jù)的演進(jìn)過程
- 大數(shù)據(jù)的關(guān)鍵技術(shù)
- 大數(shù)據(jù)分布式系統(tǒng)的構(gòu)成
- 計(jì)算模式
- 大數(shù)據(jù)產(chǎn)業(yè)
- 大數(shù)據(jù)與云計(jì)算的關(guān)系
- 大數(shù)據(jù)和物聯(lián)網(wǎng)的關(guān)系
|
| 開源Hadoop生態(tài)圈的介紹 |
1、Hadoop生態(tài)圈
2、組件功能概要
3、介紹Cloudera公司
4、CDH5.0的技術(shù)優(yōu)勢
5、ClouderaManager的介紹
6、CM集群監(jiān)控
7、HDFS監(jiān)控
8、Hbase監(jiān)控
9、Hive監(jiān)控
10、服務(wù)維護(hù)頁面 |
| HDFS分布式文件系統(tǒng)詳解 |
什么是分布式文件系統(tǒng)HDFS
2、HDFS基本架構(gòu)
3、基本概念
4、主要涉及理念
5、hdfs常用命令
6、hdfs的上傳文件
7、hdfs的下載文件
8、hdfs的查看數(shù)據(jù)
9、hdfs優(yōu)點(diǎn)和缺點(diǎn)
10、案例：實(shí)現(xiàn)HDFS文件上傳和下載 |
| ZooKeeper分布式協(xié)作服務(wù) |
1.ZooKeeper概述
2.ZooKeeper結(jié)構(gòu)與原理
3.安裝和運(yùn)行ZooKeeper
4.Zookeeper的API接口
5.ZK實(shí)操(創(chuàng)建節(jié)點(diǎn)等)
6.Zookeeper的4個(gè)應(yīng)用場景詳解 |
| Yarn資源管理系統(tǒng) |
1、什么是Yarn
2、Yarn特點(diǎn)
3、Yarn原理
4、Yarn核心架構(gòu)
5、優(yōu)勢和不足
6、ResourceManager(RM)介紹
7、ApplicationMaster(AM)介紹
8、NodeManager(NM)介紹
9、Container介紹 |
| Sqoop大數(shù)據(jù)同步工具詳解 |
1、Sqoop基本介紹
2、基本原理
3、應(yīng)用場景
4、Sqoop和mysql的連接
5、mysql數(shù)據(jù)到HDFS
6、HDFS數(shù)據(jù)到mysql
7、關(guān)系型數(shù)據(jù)庫到hive
8、hive到關(guān)系型數(shù)據(jù)庫
9、Sqoop優(yōu)點(diǎn)和缺點(diǎn)
10、案例：oracle到hdfs的大數(shù)據(jù)量轉(zhuǎn)換 |
MapReduce分布式計(jì)算框架詳解
|
1、MapReduce基本介紹
2、為什么要用MR
3、MR是什么
4、工作原理
5、Map的原理
5、Reduce的原理
6、MR例子-單詞計(jì)數(shù)
7、MR的優(yōu)點(diǎn)和不足
8、適用場景
9、案例：統(tǒng)計(jì)多個(gè)數(shù)據(jù)文件每個(gè)單詞出現(xiàn)次數(shù)并倒序排列
?
|
| Hive 數(shù)據(jù)倉庫及案例 |
1、Hive 基本介紹
- Hive 是什么
- Hive 不是什么
- Hive 結(jié)構(gòu)圖
- Hive 元數(shù)據(jù)
- Hive 和普通關(guān)系數(shù)據(jù)的異同
- Hive 和 SQL 比較 2、Hive 命令
- 建表
- 顯示表
- 修改表
- load 數(shù)據(jù) 3、Hive 優(yōu)化
- 分區(qū)概念
- 分區(qū)適用場景
- 分區(qū)例子
- 優(yōu)化例子
- 優(yōu)化建議方案 4、Hive 的用戶自定義函數(shù)
- UDF 函數(shù)
- UDAF 函數(shù)
- UDTF 函數(shù) 5、案例講解：Hive分區(qū)表的優(yōu)化設(shè)計(jì)
|
| Impala準(zhǔn)實(shí)時(shí)分析 |
1、Impala基本介紹
2、技術(shù)架構(gòu)
3、Impala與HIVE的關(guān)系
4、基本原理
5、優(yōu)點(diǎn)和缺點(diǎn)
6、建表
7、加載數(shù)據(jù)
8、批量處理
9、常用腳本
10、和hive的性能比較
11、和oracle的對比2億數(shù)據(jù)性能
12、和oracle的對比12億數(shù)據(jù)性能
13、案例：Impala調(diào)用外部文件
? |
| Hbase列數(shù)據(jù)庫及應(yīng)用案例 |
1、Hbase感性認(rèn)識(shí)
- Hbase簡介
- Hbase特點(diǎn)
- HBase與RDBMS對比
- HBase體系結(jié)構(gòu)
- Hbase常見概念 2、Hbase主要組成
- HBase基本命令介紹
- Zookeeper、Hmaster
- HRegionServer、Region
- HStore存儲(chǔ)、Hfile
- Hbase內(nèi)部掃描RowKey的原理
- Hbase內(nèi)部讀寫原理
- HBase設(shè)計(jì)原理、架構(gòu)分析
- Hadoop+HBase伸縮性（自動(dòng)擴(kuò)容、熱部署）
- HBase相關(guān)表結(jié)構(gòu)設(shè)計(jì)（列族、列詳細(xì)分析）
- HBase主HMaster與備用HMaster間的切換原理 3、Hbase性能測試
- 測試數(shù)據(jù)
- 測試過程
- 測試結(jié)論
- 和Oracle Rac等進(jìn)行對比 4、Hbase設(shè)計(jì)原則和優(yōu)化
- Hbase的RowKey設(shè)計(jì)原則
- 性能參數(shù)的設(shè)置
- 性能參數(shù)的調(diào)整
- 模型和性能優(yōu)化 5、項(xiàng)目案例：HBase在小米業(yè)務(wù)的應(yīng)用
6、項(xiàng)目案例：運(yùn)營商全國用戶上網(wǎng)記錄案例介紹
|
| 大數(shù)據(jù)平臺(tái)部署及案例 |
hadoop有哪幾個(gè)版本
2、Hadoop版本介紹
3、CDH和Apache版本主要區(qū)別
4、集群硬件應(yīng)該如何選配
- 網(wǎng)絡(luò)拓?fù)?/li>
- 內(nèi)存
- 硬盤
- CPU
- 價(jià)格 5、集群硬件應(yīng)該如何選配
6、英特爾Hadoop發(fā)行版的介紹
7、英特爾功能增強(qiáng)
8、項(xiàng)目案例：某省級(jí)通信運(yùn)營商清帳單查詢系統(tǒng)
9、項(xiàng)目案例：新清賬單中心的部署方案
|
