第一章

主題

分布式系統(tǒng)概述

大綱

·?分布式系統(tǒng)基本概念

·?分布式系統(tǒng)設(shè)計遇到的問題

·?分布式系統(tǒng)的可靠性問題

·?分布式系統(tǒng)的可擴(kuò)展性問題

實驗：

·?實驗環(huán)境的介紹：實驗環(huán)境中所涉及到的軟件，實驗中所需要的硬件配置，編程所需要的必要的Java知識等。

·?介紹如何在集群環(huán)境下進(jìn)行Hadoop系統(tǒng)的安裝以及配置，使得每個參加的學(xué)員都能夠安裝完成Hadoop，并進(jìn)行正確配置與運行。

第二章

主題

分布式文件系統(tǒng)

大綱

·?傳統(tǒng)的分布式文件系統(tǒng)，例如NFS，AFS等，

·?新的分布式文件系統(tǒng)的介紹，如Ceph等。

·?介紹分布式文件系統(tǒng)GFS，以及相應(yīng)的在Hadoop中的模塊HDFS。

實驗：

·?學(xué)員實驗所必須的相關(guān)的背景知識，例如多線程程序的編寫，程序的同步問題，網(wǎng)絡(luò)編程所需要的必要知識（實際是不用的，但是為了理解分布式程序的運行，必須要了解）。

·?熟悉使用Hadoop進(jìn)行編程的基礎(chǔ)知識：Hadoop的構(gòu)成，Hadoop中相關(guān)類庫的介紹，在Hadoop環(huán)境下，使用Java操作接口，對文件系統(tǒng)進(jìn)行讀寫操作。

第三章

主題

MapReduce編程技術(shù)

大綱

·?Google的MapReduce編程介紹

·?開源軟件Nutch的體系結(jié)構(gòu)與構(gòu)成

·?Hadoop的體系結(jié)構(gòu)，構(gòu)成以及MapReduce設(shè)計的編程要素

實驗：

·?Hadoop的MapReduce編程環(huán)境

????使用Hadoop進(jìn)行MapReduce編程，并進(jìn)行第一個實驗，即做一次倒排表的實驗。

第四章

主題

MapReduce算法

大綱

·?使用MapReduce進(jìn)行圖算法PageRank

·?使用MapReduce進(jìn)行聚類算法Canopy?Clustering

實驗：

·?圖算法PageRank的實現(xiàn)

第五章

主題

云計算技術(shù)分析

大綱

·?Amazon的云計算系統(tǒng)的介紹Elastic?Computing?Cloud

·?微軟所使用的大規(guī)模數(shù)據(jù)處理技術(shù)Dryad等

·?Google云計算平臺App?Engine深入剖析

§?App?Engine概述及其典型應(yīng)用分析

§?App?Engine架構(gòu)和實現(xiàn)解析

§?App?Engine應(yīng)用開發(fā)接口和編程實踐

§?App?Engine與其他云計算平臺的橫向比較及展望

實驗：

·?聚類算法Canopy?Clustering的實現(xiàn)

第六章

主題

在Google中所使用的其它技術(shù)

大綱

·?Google的集群的構(gòu)建

·?Google的數(shù)據(jù)庫系統(tǒng)BigTable

·?Google的分布式鎖技術(shù)Chubby

實驗：

·?對實驗進(jìn)行收尾工作