課程內(nèi)容

一、?演示FPGA?AI項(xiàng)目的視頻文件和Vitis?AI軟件開發(fā)原理與環(huán)境搭建。

1.?演示FPGA?AI項(xiàng)目視頻文件，讓學(xué)員對(duì)FPGA AI項(xiàng)目的應(yīng)用范圍和實(shí)現(xiàn)方法有一個(gè)直觀的認(rèn)識(shí)。

2.?FPGA AI環(huán)境搭建。介紹虛擬機(jī)VMware、Ubuntu、Vitis、docker、Vitis AI、CMake、Opencv、XRT和Model Zoo的安裝和環(huán)境變量設(shè)置。

3.?FPGA AI開發(fā)原理和流程。介紹深度學(xué)習(xí)處理單元DPU、AI優(yōu)化器、AI量化器、AI編譯器、運(yùn)行時(shí)XRT、DPU指令集等Vitis AI主要概念、開發(fā)流程、專有命令和API接口。

4.?FPGA AI開發(fā)板介紹和使用。Alveo系列、Versal系列、ZynqMP系列，重點(diǎn)介紹本課程所用開發(fā)板Kria KV260、Ultra96、ZCU104，內(nèi)容包括開發(fā)板硬件接口和連接、鏡像燒錄、網(wǎng)絡(luò)配置、通訊軟件和例程演示。

5.?Kria KV260 AI開發(fā)板加速原理和自帶例程詳解。介紹開發(fā)板自帶的兩種加速核Smartcam、Aibox-reid實(shí)現(xiàn)原理、C++、Python和GStreamer VVAS三種語(yǔ)言例程演示和程序解析，其中包含VART調(diào)用DPU流程和命令，比特流和kernel載入、輸入預(yù)處理、模型運(yùn)行和輸出參數(shù)后處理全過(guò)程。

二、?yolov3 & yolov3_tiny口罩訓(xùn)練移植全流程與yolov2_tiny & yolov4_tiny目標(biāo)識(shí)別與跟蹤例程。

1.?KV260 Smartcam硬件平臺(tái)制作。全制作過(guò)程采用非項(xiàng)目開發(fā)形式Vitis、Vivado設(shè)計(jì)與編譯，介紹makefile、Vitis、Vivado、Tcl批處理文件，其中對(duì)于涉及到Vitis開發(fā)軟件亦做了簡(jiǎn)單介紹,也可以用Vitis或Vivado Gui界面打開分析編譯。

2.?口罩識(shí)別yolov3和yolov3-tiny模型訓(xùn)練、PC驗(yàn)證和移植KV260全流程。這是一個(gè)包括模型修改、數(shù)據(jù)集訓(xùn)練、模型轉(zhuǎn)化與固化、量化與編譯、鏡像生成，其訓(xùn)練模型首先在PC機(jī)上使用Keras框架上進(jìn)行驗(yàn)證，再將鏡像放到KV260上進(jìn)行實(shí)操驗(yàn)證。并對(duì)其中用到的命令、PC機(jī)程序和FPGA上程序進(jìn)行講解。

3.?KV260 Vitis AI 1.4 yolov4-tiny模型編譯生成xmodel，開發(fā)板后處理程序解讀，開發(fā)板實(shí)操x11和hdmi顯示和影響時(shí)延因素分析，本節(jié)生成的模型也在下面的Gstreamer編程中使用。

4.?Ultra96 yolov2-tiny Vitis AI 1.3模型轉(zhuǎn)換與固化、量化與編譯、開發(fā)板圖像預(yù)處理程序、DPU AI調(diào)用命令集和DPU輸出后處理程序（包括目標(biāo)閾值篩選、非最大值抑制 NMS和目標(biāo)框繪制）和目標(biāo)跟蹤算法程序，掌握yolo模型目標(biāo)識(shí)別后處理程序和用戶算法程序的編寫。

三、Gstreamer主流AI模型全流程的設(shè)計(jì)、訓(xùn)練與FPGA轉(zhuǎn)化。

1.?介紹多媒體GStreamer框架和插件，包括Element、Queue、Tee、Pad、Bin等基本元素，filesrc、v4l2src、kmssink、h264parse、x264enc等主要模塊，和qp、leaky、control-rate、target-bitrate、periodicity-idr、gop-length等主要參數(shù)，并在PC虛擬機(jī)上進(jìn)行pipeline編程練習(xí)。

2.?介紹Xilinx基于Gstreamer框架的視頻開發(fā)套件Vitis Video Analytics SDK?(VVAS)，包括硬件與軟件對(duì)應(yīng)的層次結(jié)構(gòu)，主要組件omxh264enc、omxh264dec、ivas_xfilter、ivas_xmetaaffixer等的作用與命令格式，并以框圖上逐次增加功能模塊的方式講解VVAS pipeline語(yǔ)言如何編寫，掌握用這種高度集成和方便的工具實(shí)現(xiàn)FPGA?AI視覺應(yīng)用編程。

3.?利用在前面的課程中編譯得到的yolov2-tiny xmodel模型，使用VVAS編程語(yǔ)言講解編寫目標(biāo)識(shí)別pipeline, 實(shí)現(xiàn)在KV260上的視頻文件讀取、圖像預(yù)處理、DPU運(yùn)行、后處理、視頻輸出和存盤的所有功能。

4.?基于KV260的自帶人臉識(shí)別模型和人物跟蹤模型，分別講解編寫VVAS pipeline人臉識(shí)別和人物跟蹤,輸出顯示在HDMI上，同時(shí)改變Gstreamer VVAS參數(shù)直觀感受不同的參數(shù)對(duì)視頻帶來(lái)的影響，講解如何正確設(shè)置Gstreamer VVAS參數(shù)。