云計算與大規(guī)模數(shù)據(jù)處理培訓(xùn)課程
課程介紹：
通過本課程的學(xué)習(xí)，學(xué)員將深入了解到通過大規(guī)模集群的模式處理海量數(shù)據(jù)的方式與編程方法。通過實踐相關(guān)的課程內(nèi)容，使用開源的Apache?Lucene?Hadoop工具，學(xué)員將親身實踐Google文件系統(tǒng)以及Google所使用的分布式編程方式MapReduce。學(xué)員還需要完成特定的分布式應(yīng)用程序設(shè)計來鞏固所學(xué)的編程知識，用于處理實際的海量數(shù)據(jù)問題。
適合對象：
·?對云計算或大規(guī)模數(shù)據(jù)處理感興趣的開發(fā)人員
·??架構(gòu)師、項目經(jīng)理等
課程目標(biāo)：
·?????熟悉和掌握云計算的架構(gòu)與原理
·?????了解大規(guī)模數(shù)據(jù)處理的核心技術(shù)
·?????熟悉并理解企業(yè)大規(guī)模數(shù)據(jù)處理應(yīng)用的注意事項
·?????對開源系統(tǒng)的應(yīng)用
預(yù)備知識：
·?????對Lucene（開源的索引和檢索系統(tǒng)）和??Hadoop有所理解
·?????掌握基本的Java語法
·?????對數(shù)據(jù)結(jié)構(gòu)、編譯原理、概率論有基本的了解
|
第一章
|
|
主題
|
分布式系統(tǒng)概述
|
|
大綱
|
·?分布式系統(tǒng)基本概念
·?分布式系統(tǒng)設(shè)計遇到的問題
·?分布式系統(tǒng)的可靠性問題
·?分布式系統(tǒng)的可擴(kuò)展性問題
|
|
實驗：
·?實驗環(huán)境的介紹：實驗環(huán)境中所涉及到的軟件，實驗中所需要的硬件配置，編程所需要的必要的Java知識等。
·?介紹如何在集群環(huán)境下進(jìn)行Hadoop系統(tǒng)的安裝以及配置，使得每個參加的學(xué)員都能夠安裝完成Hadoop，并進(jìn)行正確配置與運(yùn)行。
|
|
第二章
|
|
主題
|
分布式文件系統(tǒng)
|
|
大綱
|
·?傳統(tǒng)的分布式文件系統(tǒng)，例如NFS，AFS等，
·?新的分布式文件系統(tǒng)的介紹，如Ceph等。
·?介紹分布式文件系統(tǒng)GFS，以及相應(yīng)的在Hadoop中的模塊HDFS。
|
|
實驗：
·?學(xué)員實驗所必須的相關(guān)的背景知識，例如多線程程序的編寫，程序的同步問題，網(wǎng)絡(luò)編程所需要的必要知識（實際是不用的，但是為了理解分布式程序的運(yùn)行，必須要了解）。
·?熟悉使用Hadoop進(jìn)行編程的基礎(chǔ)知識：Hadoop的構(gòu)成，Hadoop中相關(guān)類庫的介紹，在Hadoop環(huán)境下，使用Java操作接口，對文件系統(tǒng)進(jìn)行讀寫操作。
|
|
第三章
|
|
主題
|
MapReduce編程技術(shù)
|
|
大綱
|
·?Google的MapReduce編程介紹
·?開源軟件Nutch的體系結(jié)構(gòu)與構(gòu)成
·?Hadoop的體系結(jié)構(gòu)，構(gòu)成以及MapReduce設(shè)計的編程要素
|
|
實驗：
·?Hadoop的MapReduce編程環(huán)境
????使用Hadoop進(jìn)行MapReduce編程，并進(jìn)行第一個實驗，即做一次倒排表的實驗。
|
|
第四章
|
|
主題
|
MapReduce算法
|
|
大綱
|
·?使用MapReduce進(jìn)行圖算法PageRank
·?使用MapReduce進(jìn)行聚類算法Canopy?Clustering
|
|
實驗：
·?圖算法PageRank的實現(xiàn)
|
|
第五章
|
|
主題
|
云計算技術(shù)分析
|
|
大綱
|
·?Amazon的云計算系統(tǒng)的介紹Elastic?Computing?Cloud
·?微軟所使用的大規(guī)模數(shù)據(jù)處理技術(shù)Dryad等
·?Google云計算平臺App?Engine深入剖析
§?App?Engine概述及其典型應(yīng)用分析
§?App?Engine架構(gòu)和實現(xiàn)解析
§?App?Engine應(yīng)用開發(fā)接口和編程實踐
§?App?Engine與其他云計算平臺的橫向比較及展望
|
|
實驗：
·?聚類算法Canopy?Clustering的實現(xiàn)
|
|
第六章
|
|
主題
|
在Google中所使用的其它技術(shù)
|
|
大綱
|
·?Google的集群的構(gòu)建
·?Google的數(shù)據(jù)庫系統(tǒng)BigTable
·?Google的分布式鎖技術(shù)Chubby
|
|
實驗：
·?對實驗進(jìn)行收尾工作
|
