| 大數(shù)據(jù)架構(gòu)概述 |
大數(shù)據(jù)層級(jí)架構(gòu)及各層軟件設(shè)計(jì)要求:
- 大數(shù)據(jù)存儲(chǔ)
- 大數(shù)據(jù)計(jì)算框架
- 大數(shù)據(jù)應(yīng)用等 Hadoop生態(tài)系統(tǒng)概述以及版本演化
- Hadoop生態(tài)系統(tǒng)及其版本演化歷史
- hadoop版本選擇建議 Spark生態(tài)系統(tǒng)概述
- Spark生態(tài)系統(tǒng)及其特點(diǎn)
- Spark與Hadoop對(duì)比
|
| 數(shù)據(jù)收集系統(tǒng)Flume與Sqoop |
使用flume和sqoop兩個(gè)系統(tǒng)將如下數(shù)據(jù)的數(shù)據(jù)導(dǎo)入Hadoop中
- 外部流式數(shù)據(jù)(比如網(wǎng)站日志,用戶行為數(shù)據(jù)等)
- 關(guān)系型數(shù)據(jù)庫(kù)(比如MySQL、Oracle等)中
|
| 大數(shù)據(jù)存儲(chǔ)系統(tǒng)HDFS與HBase |
HDFS 2.0 原理、特性與基本架構(gòu)
- HDFS 2.0原理與架構(gòu),與HDFS 1.0進(jìn)行對(duì)比
- HDFS 2.0新特性,包括快:照、緩存、異構(gòu)存儲(chǔ)架構(gòu)等 HBase應(yīng)用場(chǎng)景、原理和架構(gòu) 幾個(gè)HBase典型應(yīng)用案例:
- 互聯(lián)網(wǎng)應(yīng)用案例
- 銀行應(yīng)用案例
|
| 集群資源管理與調(diào)度系統(tǒng) |
- YARN應(yīng)用場(chǎng)景
- YARN基本架構(gòu)
- YARN資源調(diào)度
|
| Zookeeper部署及典型應(yīng)用 |
- Zookeeper是什么
- Zookeeper基本原理
- Zookeeper應(yīng)用
|
| 大數(shù)據(jù)計(jì)算框架、平臺(tái)與開(kāi)源實(shí)現(xiàn) |
批處理計(jì)算框架
- MapReduce 2.0基本原理與架構(gòu),編程實(shí)踐(涉及多語(yǔ)言編程)
- 計(jì)算框架MapReduce基本原理與架構(gòu)
- 手把手介紹如何用java、C++、php等語(yǔ)言編寫(xiě)MapReduce程序
- 數(shù)據(jù)分析系統(tǒng)Hive與Pig應(yīng)用與比較
- 如何使用hive和pig分析hadoop中的海量數(shù)據(jù)
- Spark計(jì)算框架
- Spark背景,使用以及應(yīng)用案例 交互式計(jì)算框架
- Impala和presto應(yīng)用場(chǎng)景
- 基本架構(gòu)
- 典型應(yīng)用案例 流式/實(shí)時(shí)計(jì)算框架
- storm以及Spark Streaming基本架構(gòu)與特點(diǎn)
- 典型應(yīng)用案例
|
| 數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)庫(kù) |
Mahout與MLlib兩個(gè)主流的分布式數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)庫(kù)的實(shí)現(xiàn)以及應(yīng)用案例。 |