?
Apache NiFi大數(shù)據(jù)數(shù)據(jù)處理和分發(fā)系統(tǒng)培訓(xùn)實戰(zhàn)培訓(xùn)課程
目標(biāo)收益
NiFi這個項目在2015年7月成功成為Apache開源社區(qū)的頂級項目，NiFi之前是在美國國家安全局使用了8年的一個可視化，可定制的數(shù)據(jù)集成產(chǎn)品，2014年貢獻(xiàn)給了Apache開源社區(qū)。我們認(rèn)為NiFi的出現(xiàn)填補(bǔ)的大數(shù)據(jù)集成領(lǐng)域的空白， 它不僅提供了可視化的工具實現(xiàn)大數(shù)據(jù)環(huán)境下不同系統(tǒng)之間進(jìn)行數(shù)據(jù)移動和互聯(lián)互通如SQL，HDFS，Kafka， HBASE， Solr，HTTP(s)、(s)FTP 而且還可以以可視化的方式進(jìn)行各種數(shù)據(jù)格式的轉(zhuǎn)換，json，xml，avro等。NiFi的出現(xiàn)使得大數(shù)據(jù)環(huán)境下的數(shù)據(jù)移動變得簡單、高效、安全、可視 化，大大方便了業(yè)務(wù)和開發(fā)人員。
培訓(xùn)對象
大數(shù)據(jù)開發(fā)團(tuán)隊、大數(shù)據(jù)運維團(tuán)隊、數(shù)據(jù)采集和ETL人員、數(shù)據(jù)治理和管理人員
課程大綱
?
| 主題 |
內(nèi)容 |
|
模塊 1：Nifi原理和架構(gòu)
|
Nifi的功能概述
Nifi原理和架構(gòu)?
Nifi基本模塊介紹
Nifi Groups、Processor、queue和connector模塊介紹
Nifi toolbar 界面演示
|
|
模塊2：Nifi安裝和配置
|
Nifi單機(jī)版安裝
Nifi分布式安裝
Nifi slaves節(jié)點配置
數(shù)據(jù)丟失容錯和保證交付?
低延遲和高吞吐量
動態(tài)優(yōu)先級?
流可以在運行時修改?
|
|
模塊3：GUI 操作介紹
|
無縫體驗設(shè)計、控制和監(jiān)視
processor的create、stop、start、restart、delete等操作
|
|
模塊4：Nifi自帶處理器介紹
|
Processor的原理和功能
Kafka Processor介紹和實戰(zhàn)
JMS Processor介紹和實戰(zhàn)
Hbase、Cassandera、redis Processor介紹和實戰(zhàn)
Hdfs Processor、spark Streaming實戰(zhàn)
JDBC Processor介紹和實戰(zhàn)
FTP、Http、XML、Json Processor介紹和實戰(zhàn)
|
|
模塊5：創(chuàng)建Nifi數(shù)據(jù)流
|
創(chuàng)建發(fā)送/接收目錄
getFile和putFile Processor創(chuàng)建
創(chuàng)建復(fù)制文件從發(fā)送放到接收
創(chuàng)建Queue隊列
|
|
模塊6：創(chuàng)建高級數(shù)據(jù)流
|
自定義文件名
添加自定義屬性
添加正則表達(dá)式
實現(xiàn)Path過濾規(guī)則
|
|
模塊7：Nifi安全
|
創(chuàng)建用戶、用戶組、角色?
SSL,SSH,HTTPS加密認(rèn)證
可插拔的基于角色的驗證/授權(quán)
基于webUI的SLA認(rèn)證授權(quán)?
|
|
模塊8：創(chuàng)建Nifi處理器
|
實現(xiàn)一個Kafka、JMS到HDFS的流程設(shè)計
查看運行日志
查看監(jiān)控
|
|
模塊9：Nifi集群配置和管理
|
Nifi集群添加節(jié)點
刪除節(jié)點
Nifi性能優(yōu)化
Slaves節(jié)點的負(fù)載均衡配置
制定特定的Processor到特定的node節(jié)點
集群動態(tài)負(fù)載均衡配置
|
|
模塊10：用戶自定義處理器
|
eclipse工程創(chuàng)建
實現(xiàn)一個FilterFileProcessor功能
編譯&添加到Nifi的lib下面
創(chuàng)建用戶自定義的FilterFile處理器
|
|
模塊11：Nifi實戰(zhàn)
|
Nifi在互聯(lián)網(wǎng)的使用實戰(zhàn)
Nifi在某大型商業(yè)銀行實戰(zhàn)案例分享
|
