?

• 了解大數(shù)據(jù)運(yùn)維都有什么內(nèi)容
• 大數(shù)據(jù)系統(tǒng)核心組件介紹
• 性能調(diào)優(yōu)策略實(shí)戰(zhàn)
• 離線(xiàn)服務(wù)平臺(tái)介紹
• 業(yè)務(wù)實(shí)時(shí)監(jiān)控介紹
• Hadoop 集群硬件監(jiān)控
• 通過(guò)應(yīng)用案例了解工作 方法與流程
• ?

• 大數(shù)據(jù)運(yùn)維概覽	大數(shù)據(jù)的運(yùn)維案例回顧： 運(yùn)維內(nèi)容 運(yùn)維工作流程 運(yùn)維支撐平臺(tái) 大數(shù)據(jù)運(yùn)維涉及哪些內(nèi)容 大數(shù)據(jù)運(yùn)維關(guān)注的問(wèn)題 大數(shù)據(jù)運(yùn)維平臺(tái)的典型架構(gòu)
  大數(shù)據(jù)系統(tǒng)核心組件介紹	1、集群管理工具—ambari 2、數(shù)據(jù)倉(cāng)庫(kù)—hive 3、分布式計(jì)算— MapReduce 4、noSQL數(shù)據(jù)庫(kù)—Hbase 5、工作流工具—Oozie 6、數(shù)據(jù)的并行采集—Flume 7、MapReduce腳本工具—Pig 8、與關(guān)系型數(shù)據(jù)庫(kù)之間的數(shù)據(jù)遷移—Sqoop 9、資源管理平臺(tái)—Yarn 10、數(shù)據(jù)挖掘算法—Mahout 11、分布式統(tǒng)一服務(wù)—Zookeeper 12、流式計(jì)算—Strom 13、內(nèi)存計(jì)算—Spark ?
  性能調(diào)優(yōu)策略實(shí)戰(zhàn)	1、 Linux版本選擇 2、 安裝HDFS系統(tǒng)調(diào)優(yōu) 3、 網(wǎng)絡(luò)優(yōu)化策略 4、 Hdfs優(yōu)化策略 5、 安裝HDFS服務(wù) 6、 HDFS配置參數(shù)介紹 7、 HDFS運(yùn)維工具介紹 8、 Hbase服務(wù)優(yōu)化 9、 Hbase表設(shè)計(jì) 10、 spark服務(wù)介紹
  離線(xiàn)服務(wù)平臺(tái)介紹	1、 大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì) 2、 底層存儲(chǔ)服務(wù)平臺(tái)架構(gòu)設(shè)計(jì)與應(yīng)用場(chǎng)景 3、 離線(xiàn)計(jì)算框架實(shí)現(xiàn)對(duì)比 4、 元數(shù)據(jù)服務(wù)治理與數(shù)據(jù)生命周期管理 5、 統(tǒng)一調(diào)度平臺(tái)設(shè)計(jì) 6、海量日志處理架構(gòu)介紹
  業(yè)務(wù)實(shí)時(shí)監(jiān)控介紹	1、 流計(jì)算框架服務(wù)介紹 2、 Storm流計(jì)算服務(wù)介紹與應(yīng)用場(chǎng)景 3、 Spark Streaming服務(wù)框架介紹與應(yīng)用場(chǎng)景 4、 Flink服務(wù)框架介紹與應(yīng)用場(chǎng)景 5、 流計(jì)算案例分享（天貓雙十服務(wù)） 6、 58業(yè)務(wù)數(shù)據(jù)監(jiān)控方案設(shè)計(jì) ?
  Hadoop 集群硬件監(jiān)控	1、查看集群狀態(tài) HDFS數(shù)據(jù)管理 Mapreduce 任務(wù)管理 HDFS安全模式 添加刪除節(jié)點(diǎn) 數(shù)據(jù)平衡 文件數(shù)據(jù)跨集群拷貝 2、 使用Ganglia 監(jiān)控Hadoop集群 3、 使用Cacti 監(jiān)控操作系統(tǒng) 4、 使用Zabbix監(jiān)控 5、 ganglia nagios聯(lián)合使用分析 6、 集群監(jiān)控 7、 服務(wù)監(jiān)控運(yùn)行的進(jìn)程監(jiān)控 8、 主機(jī)狀態(tài)監(jiān)控 9、 主機(jī)磁盤(pán)存儲(chǔ)情況監(jiān)控 10、網(wǎng)絡(luò)狀況監(jiān)控 11、ganglia 監(jiān)控 12、zabbix監(jiān)控 13、提供的服務(wù)監(jiān)控監(jiān)控 14、堡壘機(jī)監(jiān)控 15、任務(wù)監(jiān)控 16、任務(wù)運(yùn)行時(shí)常、資源數(shù)、讀取數(shù)量、shuffle數(shù)量等 17、按人任務(wù)按部門(mén)的任務(wù)匯總 18、隊(duì)列監(jiān)控 19、隊(duì)列下的任務(wù)運(yùn)行歷史監(jiān)控 20、總量超過(guò)一個(gè)小時(shí)的任務(wù)列表監(jiān)控報(bào)表 21、數(shù)據(jù)量監(jiān)控 22、各個(gè)一級(jí)部門(mén)目錄的數(shù)據(jù)增長(zhǎng)量監(jiān)控 ?
  應(yīng)用案例	1、互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)平臺(tái)的搭建 2、移動(dòng)手機(jī)上網(wǎng)日志分析系統(tǒng) 3、電信業(yè)使用hadoop場(chǎng)景分析 4、電商個(gè)性化推薦系統(tǒng) ?

  ?