課程內(nèi)容

第一、演示FPGA AI項目的視頻文件和Vitis AI軟件開發(fā)原理與環(huán)境搭建。

1.演示FPGA AI項目視頻文件，讓學(xué)員對FPGA AI項目的應(yīng)用范圍和實(shí)現(xiàn)方法有一個直觀的認(rèn)識。
2.FPGA AI環(huán)境搭建。
3.FPGA AI開發(fā)原理和流程。介紹深度學(xué)習(xí)處理單元DPU、AI優(yōu)化器、AI量化器、AI編譯器、運(yùn)行時XRT、DPU指令集等Vitis AI主要概念、開發(fā)流程、專有命令和API接口。
4.FPGA AI開發(fā)板介紹和使用。
5.Kria KV260 AI開發(fā)板加速原理和自帶例程詳解。

第二、yolov3 & yolov3_tiny口罩訓(xùn)練移植全流程與yolov2_tiny & yolov4_tiny目標(biāo)識別與跟蹤例程。

1.KV260 Smartcam硬件平臺制作。
2.口罩識別yolov3和yolov3-tiny模型訓(xùn)練、PC驗證和移植KV260全流程。
3.Ultra96 yolov2-tiny Vitis AI 1.3模型轉(zhuǎn)換與固化、量化與編譯、開發(fā)板圖像預(yù)處理程序、DPU AI調(diào)用命令集和DPU輸出后處理程序（包括目標(biāo)閾值篩選、非最大值抑制 NMS和目標(biāo)框繪制）和目標(biāo)跟蹤算法程序，掌握yolo模型目標(biāo)識別后處理程序和用戶算法程序的編寫。

第三、Gstreamer主流AI模型全流程的設(shè)計、訓(xùn)練與FPGA轉(zhuǎn)化。

1.介紹多媒體GStreamer框架和插件，包括Element、Queue、Tee、Pad、Bin等基本元素，filesrc、v4l2src、kmssink、h264parse、x264enc等主要模塊，和qp、leaky、control-rate、target-bitrate、periodicity-idr、gop-length等主要參數(shù)，并在PC虛擬機(jī)上進(jìn)行pipeline編程練習(xí)。
2.介紹Xilinx基于Gstreamer框架的視頻開發(fā)套件Vitis Video Analytics SDK?(VVAS)，包括硬件與軟件對應(yīng)的層次結(jié)構(gòu)，主要組件omxh264enc、omxh264dec、ivas_xfilter、ivas_xmetaaffixer等的作用與命令格式，并以框圖上逐次增加功能模塊的方式講解VVAS pipeline語言如何編寫，掌握用這種高度集成和方便的工具實(shí)現(xiàn)FPGA AI視覺應(yīng)用編程。
3.利用在前面的課程中編譯得到的yolov2-tiny xmodel模型，使用VVAS編程語言講解編寫目標(biāo)識別pipeline, 實(shí)現(xiàn)在KV260上的視頻文件讀取、圖像預(yù)處理、DPU運(yùn)行、后處理、視頻輸出和存盤的所有功能。
4.基于KV260的自帶人臉識別模型和人物跟蹤模型，分別講解編寫VVAS pipeline人臉識別和人物跟蹤,輸出顯示在HDMI上，同時改變Gstreamer VVAS參數(shù)直觀感受不同的參數(shù)對視頻帶來的影響，講解如何正確設(shè)置Gstreamer VVAS參數(shù)。