發(fā)布時(shí)間：2021-08-07所屬分類：免費(fèi)文獻(xiàn)瀏覽：1次
摘 要： 信息技術(shù)
《基于海上無(wú)人平臺(tái)的低功耗實(shí)時(shí)智能監(jiān)測(cè)系統(tǒng)》論文發(fā)表期刊：《信息技術(shù)》；發(fā)表周期：2021年03期
《基于海上無(wú)人平臺(tái)的低功耗實(shí)時(shí)智能監(jiān)測(cè)系統(tǒng)》論文作者信息：作者簡(jiǎn)介: 宋罡(1994－) ，男，碩士研究生，研究方向?yàn)槿斯ぶ悄芟到y(tǒng)的軟硬件實(shí)現(xiàn)。 * 通訊作者: 蔣樂(lè)天(1975－) ，男，博士，副教授，研究方向?yàn)榍度胧较到y(tǒng)、軟件可靠性和可用性。
摘要: 針對(duì)海上無(wú)人值守的監(jiān)測(cè)平臺(tái)對(duì)功耗、實(shí)時(shí)性、識(shí)別率等方面的要求，設(shè)計(jì)并實(shí)現(xiàn)了基于人工智能技術(shù)的綜合目標(biāo)識(shí)別系統(tǒng)。該系統(tǒng)提出了目標(biāo)框定預(yù)處理算法，大大降低了神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)量; 通過(guò)神經(jīng)網(wǎng)絡(luò)模型優(yōu)化降低了計(jì)算復(fù)雜度，并能適應(yīng)不同尺寸的輸入圖片。該系統(tǒng)具有良好的性能功耗比，能較好地滿足實(shí)際應(yīng)用場(chǎng)景的需求。
關(guān)鍵詞: 海上無(wú)人平臺(tái); 智能監(jiān)測(cè); 目標(biāo)框定預(yù)處理算法; 低功耗神經(jīng)網(wǎng)絡(luò)
Abstract: Aiming at the requirements for power consumption, realtime performance and recognition rate of offshore unmanned platform, a comprehensive target recognition system based on artificial intelligence tech-nology is proposed and implemented. A preprocessing algorithm of target framing is proposed to greatly reduce the amount of input data for neural network; the neural network model is optimized to reduce the computational complexity and adapt to different sizes of input images. The system provides good performancel power ratio, and can better meet the needs of practical applications.
Key words: offshore unmanned platform; intelligent surveillance; pre processing algorithm of target framing; low power neural network
0 引 言
隨著國(guó)家對(duì)海洋開發(fā)和海洋國(guó)土安全的日益重視，基于海上無(wú)人平臺(tái)( 無(wú)人船、無(wú)人機(jī)、浮標(biāo)等) 的智能監(jiān)測(cè)識(shí)別系統(tǒng)引起了越來(lái)越多的關(guān)注。這種系統(tǒng)一方面對(duì)海上目標(biāo)的識(shí)別率和處理實(shí)時(shí)性有很高的要求; 另一方面受到載荷的制約，
對(duì)功耗、體積、重量等方面有著嚴(yán)格的限制。而現(xiàn)有的人工智能算法對(duì)算力要求很高，而且往往基于 CPU/GPU 的架構(gòu)實(shí)現(xiàn)，存在功耗高、體積大的問(wèn)題，很難直接部署于海上無(wú)人平臺(tái)。
針對(duì)上述問(wèn)題，本文提出了一種創(chuàng)新性的綜合目標(biāo)識(shí)別系統(tǒng)，并進(jìn)行了基于 FPGA 的硬件實(shí)現(xiàn)。針對(duì)海上光學(xué)設(shè)備往往具有非常廣的畫面視角以及非常高的圖像分辨率( 4K 及以上) 的特點(diǎn)，設(shè)計(jì)了自適應(yīng)的目標(biāo)框定算法進(jìn)行預(yù)處理，大大降低了后端神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理量和算力要求。同時(shí)對(duì)YOLOv4神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了優(yōu)化調(diào)整"，進(jìn)一步降低了系統(tǒng)的計(jì)算復(fù)雜度，而且能夠?qū)崟r(shí)適應(yīng)前端預(yù)處理提供的不同尺寸的框定圖片。測(cè)試結(jié)果表明，該系統(tǒng)對(duì)各類海上目標(biāo)的識(shí)別率達(dá)到了98%，對(duì)4K分辨率圖片的處理速度大于10FPs，同時(shí)整體功耗小于20瓦、不到目前同類系統(tǒng)的1/10.1目標(biāo)框定預(yù)處理算法
海上智能監(jiān)測(cè)識(shí)別系統(tǒng)的待測(cè)目標(biāo)包括浮標(biāo)、船只、礁石、海面飛行物等，目標(biāo)種類多、速度差異大，而且容易受到海面波浪及反光的干擾。另一方面，海上識(shí)別背景相對(duì)單一，待測(cè)目標(biāo)相對(duì)尺寸小且目標(biāo)之間分布離散。針對(duì)上述特點(diǎn)，本系統(tǒng)設(shè)計(jì)了如圖1所示的目標(biāo)框定預(yù)處理算法，對(duì)圖像中的可疑目標(biāo)進(jìn)行快速預(yù)檢，既可以有效降低后端神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理量，也抑制了波浪及反光的干擾。該算法同時(shí)進(jìn)行定向運(yùn)動(dòng)的目標(biāo)監(jiān)測(cè)和基于輪廓的目標(biāo)監(jiān)測(cè)，然后將兩者的結(jié)果進(jìn)行信息融合并通過(guò)目標(biāo)框定將可疑目標(biāo)框出。
1. 1 定向運(yùn)動(dòng)目標(biāo)監(jiān)測(cè)
背景差分和幀間濾波模塊提取出圖像當(dāng)前幀與背景幀之間的運(yùn)動(dòng)信息并濾除掉其中無(wú)規(guī)律的隨機(jī)運(yùn)動(dòng)( 一般為海面波浪運(yùn)動(dòng)造成的隨機(jī)反光、岸邊樹葉的晃動(dòng)、成像系統(tǒng)的底噪等情形) ，得到具有固定方向的運(yùn)動(dòng)信息( 一般為速度較快的飛機(jī)、鳥類、船只等) ，從而得到運(yùn)動(dòng)可疑目標(biāo)的大致位置。
該幀間濾波模塊的算法創(chuàng)新點(diǎn)是：將描述運(yùn)動(dòng)的最小單元分解為8 x8pixels尺寸的cells，對(duì)連續(xù)幀的cells做空間滑動(dòng)皮爾遜相關(guān)2，通過(guò)空間滑動(dòng)找到一個(gè)最相關(guān)的位置(dx，dy)I min(pra其中d，dy即對(duì)應(yīng)了該cell的運(yùn)動(dòng)信息：通過(guò)連續(xù)12幀的比較，濾除無(wú)規(guī)則的運(yùn)動(dòng)信息并保留同一個(gè)方向的運(yùn)動(dòng)信息息。
1.2 基于輪廓目標(biāo)檢測(cè)
利用海上目標(biāo)和背景之間、海面和天空之間一般都具有較為明顯輪廓的特點(diǎn)，通過(guò)基于FP-GA的快速canny算子[、提取出畫面中的像素梯度變化劇烈處的信息，從而得到具有明顯輪廓可疑目標(biāo)的大致位置。同時(shí)，通過(guò)海平面輪廓線的識(shí)別，可以使得系統(tǒng)能夠掌握海面與天空的區(qū)域劃分，從而為后端神經(jīng)網(wǎng)絡(luò)的目標(biāo)識(shí)別進(jìn)行輔助判斷。
1.3 目標(biāo)框定
將信息融合之后得到的可疑目標(biāo)所在位置以預(yù)設(shè)大小的方形框出，保證框選結(jié)果之間無(wú)重疊，作為后端神經(jīng)網(wǎng)絡(luò)的輸入。假設(shè)預(yù)設(shè)方形框的大小為a xaPixels，根據(jù)后端神經(jīng)網(wǎng)絡(luò)的輸入特性，將a設(shè)為32的倍數(shù)，即有：
該目標(biāo)框定預(yù)處理算法的最終效果如圖2所示，該算法大大降低了輸入后端神經(jīng)網(wǎng)絡(luò)的圖片數(shù)據(jù)量。如果按圖像中每幀平均存在 1 個(gè) 320 ×320大小的可疑目標(biāo)框估算，可以將后端神經(jīng)網(wǎng)絡(luò)模型的平均計(jì)算量降低到原先的1.33%，從而使得系統(tǒng)實(shí)時(shí)處理4K分辨率的視頻流成為可能。實(shí)驗(yàn)結(jié)果表明，相對(duì)于直接將4K分辨率的圖像輸入神經(jīng)網(wǎng)絡(luò)，加入該算法之后，系統(tǒng)的查全率從98.8%下降為98.0%，損失不到1%;而系統(tǒng)的處理速率從0.06幀/秒提升至5.1幀/秒，速度提高了75倍。
2神經(jīng)網(wǎng)絡(luò)模型優(yōu)化
海上智能監(jiān)測(cè)識(shí)別系統(tǒng)的目標(biāo)識(shí)別任務(wù)由深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。采用YOLOv3.YOLOv4等神經(jīng)網(wǎng)絡(luò)模型可以達(dá)到較高的識(shí)別準(zhǔn)確率，但是算力要求過(guò)高，在資源受限的海上無(wú)人平臺(tái)上很難達(dá)到實(shí)時(shí)處理的要求。結(jié)合海上目標(biāo)監(jiān)測(cè)的具體場(chǎng)景，本系統(tǒng)對(duì)YOLOv4模型進(jìn)行針對(duì)性的結(jié)構(gòu)優(yōu)化，力圖在保留YOLOv4網(wǎng)絡(luò)特性的同時(shí)有效降低網(wǎng)絡(luò)模型的規(guī)模和計(jì)算復(fù)雜度：為了與目標(biāo)框定預(yù)處理算法的動(dòng)態(tài)輸出相匹配，網(wǎng)絡(luò)輸入可以自適應(yīng)接收不同尺寸的圖片。優(yōu)化之后的神經(jīng)網(wǎng)絡(luò)模型如圖3所示。其中CBL即Convolution.BatchNormal，LeakyRelu層的串聯(lián)，CSP*X表示由x個(gè)殘差塊構(gòu)成的CSP結(jié)構(gòu)。
2. 1 BackBone 優(yōu)化
結(jié)合海上智能監(jiān)測(cè)的識(shí)別目標(biāo)和背景的特點(diǎn)，對(duì)YOLOv4中的CSPNet進(jìn)行網(wǎng)絡(luò)寬度和深度的縮減[]。相比于YOLOv4，模型總深度從161層降至67層，網(wǎng)絡(luò)模型平均寬度從326.1降至102.4，但是不同于通用的YOLOv4Tiny簡(jiǎn)化網(wǎng)絡(luò)，保留了YOLOv4中的CSPNet和殘差結(jié)構(gòu)，從而盡可能保持網(wǎng)絡(luò)深度。
2.2 Neck優(yōu)化
考慮到海上待測(cè)目標(biāo)尺寸較小(95%的目標(biāo)尺寸分布在8-260pixels區(qū)間內(nèi))，優(yōu)化了YOLOv4的輸出尺度金字塔架構(gòu)，從原本的三組不同尺度輸出變?yōu)閮山M。同時(shí)盡可能地保留YOL0v4中的新特性，如PANet和SPP結(jié)構(gòu)等62.3 激活函數(shù)選擇考慮到系統(tǒng)采用基于FPGA的硬件實(shí)現(xiàn)架構(gòu)，將YOLOv4中被大量使用的Mish激活函數(shù)全部改為硬件實(shí)現(xiàn)簡(jiǎn)單的LeakyRelu函數(shù)，在大大減少FPGA硬件資源開銷的同時(shí)只有約0.4%的mAP指標(biāo)下降。
優(yōu)化模型與其他網(wǎng)絡(luò)的性能對(duì)比如表1所示。實(shí)驗(yàn)采用480 ×480分辨率的海上目標(biāo)數(shù)據(jù)集進(jìn)行測(cè)試，實(shí)現(xiàn)平臺(tái)為NVIDIA RTX2070.通過(guò)表1可以看出，本文改進(jìn)模型的識(shí)別準(zhǔn)確率(mAP@0.5)僅次于YOLOv3和YOLOv4網(wǎng)絡(luò)，好于其他輕量級(jí)網(wǎng)絡(luò);每秒處理幀數(shù)是YOLOv4的5. 2 倍，是所有算法中最快的。因此，本文改進(jìn)模型在精度和速度上都有良好的表現(xiàn)，能夠滿足海上目標(biāo)監(jiān)測(cè)的場(chǎng)景需求。
3 系統(tǒng)實(shí)現(xiàn)和性能分析
海上智能監(jiān)測(cè)識(shí)別系統(tǒng)由海上無(wú)人平臺(tái)和地面總控站兩部分組成，系統(tǒng)整體結(jié)構(gòu)如圖 4 所示。海上無(wú)人平臺(tái)實(shí)現(xiàn)本地化的海面視頻智能監(jiān)測(cè)與識(shí)別，通過(guò) 4G 通信模塊將處理后的視頻流和實(shí)時(shí)預(yù)警信息遠(yuǎn)程發(fā)送至地面總控站。地面總控站同時(shí)接收來(lái)自多個(gè)海上無(wú)人平臺(tái)的上傳結(jié)果并實(shí)時(shí)展示，可以遠(yuǎn)程控制海上無(wú)人平臺(tái)的工作狀態(tài)并更新其中的算法模型。
海上無(wú)人平臺(tái)的硬件核心模塊基于Xilinx Zynq Ultrascale + MPSoC XCZU15EG芯片實(shí)現(xiàn)，采用ARM +FPGA的片上系統(tǒng)(SoC)硬件方案。
3.1 FPGA側(cè)實(shí)現(xiàn)
FPGA側(cè)進(jìn)行目標(biāo)框定預(yù)處理和神經(jīng)網(wǎng)絡(luò)模型推斷。所有子模塊采用流水線架構(gòu)并通過(guò)AXI-Stream總線互聯(lián)，實(shí)現(xiàn)高吞吐率性能。優(yōu)化模型采用INT8方式量化回，便于FPGA實(shí)現(xiàn)并進(jìn)一步縮小了參數(shù)量。
專門設(shè)計(jì)了一個(gè)類似于DPU的通用卷積神經(jīng)網(wǎng)絡(luò)計(jì)算架構(gòu)[：其中PE模塊目前已完成卷積層、批量歸一化層、Relu、LeakyRelu、平均池化層、最大值池化層、通道拼接、上采樣層等各層算子實(shí)現(xiàn)，覆蓋了本文優(yōu)化模型中的所有操作。為了自適應(yīng)接收不同尺寸的圖片，創(chuàng)新性地
設(shè)計(jì)了圖像幀頭解析模塊。該模塊根據(jù)輸入圖片尺寸的變化，實(shí)時(shí)調(diào)整片上緩存對(duì)于模型權(quán)值與各層激活值的臨時(shí)存取策略。
3.2 ARM側(cè)實(shí)現(xiàn)
基于ARM架構(gòu)的CPU連接FPGA，eMMC Flash.DDRA4等外圍設(shè)備，組成嵌入式系統(tǒng)。嵌入式系統(tǒng)對(duì)智能識(shí)別結(jié)果進(jìn)行后處理與視頻疊加，并形成實(shí)時(shí)預(yù)警信息。
采用本文算法輸入4K分辨率的海上實(shí)際數(shù)據(jù)，使用不同硬件平臺(tái)實(shí)現(xiàn)的性能對(duì)比如表2所示。從表2可以看出，本文使用的FPGA硬件平臺(tái)的性能和處理速度接近現(xiàn)有的CPU/GPU處理平臺(tái)，但是功耗不足20瓦，具有遠(yuǎn)超CPU/GPU的性能功耗比，非常適合部署在海上無(wú)人平臺(tái)。
4 結(jié)束語(yǔ)
本文設(shè)計(jì)了一種用于海上無(wú)人平臺(tái)的高性能
功耗比的智能監(jiān)測(cè)識(shí)別系統(tǒng)。該系統(tǒng)提出目標(biāo)框
定預(yù)處理算法并優(yōu)化了YOLOv4神經(jīng)網(wǎng)絡(luò)模型，可以實(shí)時(shí)處理高分辨率的視頻流。系統(tǒng)基于FP-GA實(shí)現(xiàn)并在海上無(wú)人船上通過(guò)了實(shí)場(chǎng)測(cè)試，結(jié)果表明，該系統(tǒng)在識(shí)別率、實(shí)時(shí)性、功耗等方面均
達(dá)到了良好的性能。后續(xù)可以考慮對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行深度剪枝量化等優(yōu)化操作，進(jìn)一步提升系
統(tǒng)的性能功耗比和實(shí)用價(jià)值。
參考文獻(xiàn)：
[1]Bochkovskiy A，Wang C Y，Liao H Y M.YOLOv4：optimal speed and accuracy of object detection[].arXiv Preprint，2004：109342020
[2]Rodgers J L，Nicewander W A.Thirteen ways to look at the correlation coefficient[J].The American Statistician，1988，42(1)：59-66.
[3]Canny J.A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8(6)：679-698.
[4] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, realtime object detection [J]. ar Xiv,2015,506:02640.
[5] Wang C Y, Liao H Y M, Wu Y H, et al. CSPNet: a new backbone that can enhance leaming capability of cnn[]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshop (CVPR Workshop), 2020:1571 -1580.
[6] Liu Shu, Qi Lu, Qin Hai-fang, et al. Path aggregation network for instance segmentation [C]. CVPR, 2018: 8759-8768
[7]AlexeyAB.Yolo v4，v3 and v2 for Windows and Linux [EB/OL].(2020-08-23)[202049-01].
[8]Zynq UltraScale + MPSoC Data Sheet：Overview(DS891)[M].Xilinx，2019：1-3.
[9]Jacob B，Kligys S，Chen B，et al.Quantization and training of neural networks for efficient integer-arithmetic-only inference[C].CVPR，2018：2704-2713.
[10]Zyng DPU v3.2 Product Guide(PG338)[M].Xilinx，2020：6-7.
