發(fā)布時(shí)間：2022-03-24所屬分類：計(jì)算機(jī)職稱論文瀏覽：1次
摘 要： 摘 要 表面缺陷是工業(yè)產(chǎn)品生產(chǎn)中不可避免的問題,如果不及時(shí)發(fā)現(xiàn)并處理,將會(huì)影響產(chǎn)品的表觀質(zhì)量及性能,導(dǎo)致企業(yè)生產(chǎn)效益下降。 基于機(jī)器視覺的表面缺陷檢測方法在一定程度上克服了傳統(tǒng)人工檢測方法的檢測效率低、誤檢及漏檢率高的問題,在現(xiàn)代化的工業(yè)生產(chǎn)中得到了廣泛的
摘 要 表面缺陷是工業(yè)產(chǎn)品生產(chǎn)中不可避免的問題,如果不及時(shí)發(fā)現(xiàn)并處理,將會(huì)影響產(chǎn)品的表觀質(zhì)量及性能,導(dǎo)致企業(yè)生產(chǎn)效益下降。 基于機(jī)器視覺的表面缺陷檢測方法在一定程度上克服了傳統(tǒng)人工檢測方法的檢測效率低、誤檢及漏檢率高的問題,在現(xiàn)代化的工業(yè)生產(chǎn)中得到了廣泛的應(yīng)用。 歸納總結(jié)近年來機(jī)器視覺表面缺陷檢測領(lǐng)域的研究成果,分析中外缺陷檢測技術(shù)的研究現(xiàn)狀,闡述機(jī)器視覺缺陷檢測系統(tǒng)的組成及工作原理,綜述視覺缺陷檢測所涉及到的相關(guān)理論和應(yīng)用方法, 比較主流機(jī)器視覺檢測方法的優(yōu)缺點(diǎn),并指出現(xiàn)有機(jī)器視覺缺陷檢測技術(shù)存在的問題,對(duì)以后的發(fā)展趨勢進(jìn)行了展望。
關(guān)鍵詞 機(jī)器視覺; 缺陷檢測; 深度學(xué)習(xí); 圖像處理
隨著中國制造業(yè)的快速發(fā)展，工業(yè)產(chǎn)品的數(shù)量和種類與日俱增，消費(fèi)者和生產(chǎn)企業(yè)對(duì)產(chǎn)品的質(zhì)量提出了更高的要求，除了需要滿足正常的使用性能外，還要有良好的表面質(zhì)量。 產(chǎn)品的表面質(zhì)量已成為市場的重要競爭指標(biāo)之一，對(duì)產(chǎn)品表面的質(zhì)量控制在工業(yè)生產(chǎn)中的作用日趨顯著[1] 。 但在實(shí)際的生產(chǎn)過程中，由于工藝流程、生產(chǎn)設(shè)備和現(xiàn)場環(huán)境等因素的影響，造成產(chǎn)品表面出現(xiàn)各種缺陷，如磁瓦表面的氣孔、斷裂、磨損等缺陷，印刷品表面的斑點(diǎn)、劃傷、漏印等缺陷[2] 。 表面缺陷不僅直接影響產(chǎn)品本身的外觀質(zhì)量，更影響產(chǎn)品的使用性能和商業(yè)價(jià)值。 因此，在產(chǎn)品生產(chǎn)加工時(shí)必須對(duì)其表面進(jìn)行質(zhì)量檢測，以便及時(shí)發(fā)現(xiàn)缺陷并加以控制，從而減少缺陷產(chǎn)品的產(chǎn)生，提高企業(yè)的經(jīng)濟(jì)效益。
表面缺陷檢測已成為工業(yè)生產(chǎn)過程中不可或缺的組成部分。 目前，工業(yè)生產(chǎn)中對(duì)產(chǎn)品表面的缺陷檢測一般采用傳統(tǒng)人工視覺檢測的方法[3] ，該方法不僅檢測效率低、誤檢率及漏檢率高、勞動(dòng)強(qiáng)度大，而且人工檢測成本高，易受工人經(jīng)驗(yàn)和主觀因素的影響。 同時(shí)，在缺陷尺寸小于 0. 5 mm 且無較大光學(xué)形變時(shí)，人眼檢測不到缺陷信息，不適用于大規(guī)模工業(yè)生產(chǎn)的要求[4] 。
隨著圖像處理技術(shù)的發(fā)展，機(jī)器視覺的缺陷檢測方法已經(jīng)逐漸取代了人工檢測方法，在工業(yè)生產(chǎn)檢測環(huán)節(jié)得到了實(shí)踐[5] 。 機(jī)器視覺檢測技術(shù)是一種非接觸式的自動(dòng)檢測技術(shù)，具有安全可靠、檢測精度高、可在復(fù)雜的生產(chǎn)環(huán)境中長時(shí)間運(yùn)行等優(yōu)點(diǎn)，是實(shí)現(xiàn)工廠生產(chǎn)自動(dòng)化和智能化的一種有效方法，有著廣泛的應(yīng)用，涉及磁瓦、鋼軌、紡織品、紙張、帶鋼、手機(jī)屏幕等眾多行業(yè)。
現(xiàn)以機(jī)器視覺表面缺陷檢測為論述中心，首先對(duì)機(jī)器視覺缺陷檢測技術(shù)的中外研究現(xiàn)狀進(jìn)行分析;然后將檢測技術(shù)分為基于機(jī)器視覺的缺陷檢測和基于深度學(xué)習(xí)的兩類，對(duì)幾種典型的缺陷檢測技術(shù)進(jìn)行了闡述和比較;最后對(duì)基于機(jī)器視覺的缺陷檢測技術(shù)進(jìn)行了展望和總結(jié)。
1 中外研究現(xiàn)狀
1. 1 國外研究現(xiàn)狀
國外在物體表面缺陷檢測上的研究相較中國起步早，加上國外對(duì)缺陷檢測技術(shù)投資大，研發(fā)力度高，設(shè)備檢測精確，早在 20 世紀(jì) 70 年代，表面缺陷檢測技術(shù)已經(jīng)應(yīng)用于工業(yè)生產(chǎn)過程中。 例如，德國百事泰公司針對(duì)冷軋帶鋼表面的缺陷檢測，研發(fā)了一種基于人工神經(jīng)網(wǎng)絡(luò)的缺陷檢測系統(tǒng)，該系統(tǒng)可以在線檢測待測物體的表面缺陷，并可實(shí)時(shí)對(duì)物體缺陷數(shù)量以及缺陷類型進(jìn)行統(tǒng)計(jì)和保存，同時(shí)，該系統(tǒng)可自動(dòng)判定被測物體的質(zhì)量等級(jí)，對(duì)被檢測物體進(jìn)行等級(jí)分類[6] 。 美國 Cognex 公司提出了一種應(yīng)用于金屬表面缺陷檢測的 Smart View 系統(tǒng)，該系統(tǒng)采用了先進(jìn)的照明系統(tǒng)保證在進(jìn)行圖像采集時(shí)成像的質(zhì)量，并使用了較為優(yōu)異的圖像處理算法對(duì)所得 圖 像 進(jìn) 行 缺 陷 檢 測， 取 得 了 較 高 的 識(shí) 別率[7] ;Westinghous 公司利用不同照明光路與電荷耦合元件( charge coupled device，CCD) 線陣相機(jī)相結(jié)合，為鋼板表面的缺陷檢測提供了一種新的檢測方案[8] 。 20 世紀(jì) 90 年代早期，荷蘭 Philips 公司利用圖像處理技術(shù)結(jié)合不同的濾波算法以及濾波模板，研發(fā)出一套自動(dòng)射線檢測裝置，該裝置可通過無缺陷的 X 射線模板圖像自動(dòng)對(duì)待測物體進(jìn)行缺陷檢測[9] 。 Kaftandjian 等[10] 研究設(shè)計(jì)了不同形態(tài)學(xué)的 Top-Hat 算子，該算子通過對(duì)不同類型的缺陷區(qū)域進(jìn)行提取，求得缺陷特征參數(shù)建立缺陷模板，并對(duì)不同的缺陷進(jìn)行分類。 Baygin 等[11] 針對(duì)印刷電路板孔洞缺失問題，提出了一種基于機(jī)器視覺的檢測方法，該方法首先從系統(tǒng)中獲得參考圖像，然后使用 Otsu 閾值化和 Hough 變換方法對(duì)參考圖像進(jìn)行特征提取，最后將需要檢測的圖像輸入到匹配模型中與參考圖像進(jìn)行匹配，檢測電路板上的缺失孔。 Çelik 等[12]開發(fā)了一套基于機(jī)器視覺的織物缺陷自動(dòng)檢測和分類系統(tǒng)，對(duì)織物常見的 5 種缺陷類型進(jìn)行了檢測分類，該系統(tǒng)的缺陷檢測算法運(yùn)用小波變換，雙閾值二值化和形態(tài)學(xué)運(yùn)算等圖像處理方法對(duì)織物圖像進(jìn)行檢測，缺陷分類算法主要基于灰度共生矩陣和卷積神經(jīng)網(wǎng)絡(luò)對(duì)缺陷圖像進(jìn)行特征提取和訓(xùn)練分類。 Lien 等[13] 將卷積神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)相結(jié)合，提出了一種表面缺陷檢測方法，該方法使用 Alexnet 卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像數(shù)據(jù)集進(jìn)行訓(xùn)練，提取圖像中的缺陷信息，并使用支持向量機(jī)對(duì)缺陷做出最終判定。
1. 2 中國研究現(xiàn)狀
隨著中國經(jīng)濟(jì)和科技的飛速發(fā)展，中國在表面缺陷檢測技術(shù)方面也取得了一定的成就。 例如，大恒圖像研發(fā)出一種應(yīng)用于金屬表面缺陷檢測及尺寸測量系統(tǒng)，該系統(tǒng)安裝在金屬產(chǎn)品生產(chǎn)線上，并對(duì)生產(chǎn)線上的每個(gè)表面缺陷及外形進(jìn)行實(shí)時(shí)在線檢測，該系統(tǒng)使用了獨(dú)特的照明光源，并采用了智能化的算法設(shè)計(jì)及分析算法，可以對(duì)劃傷，結(jié)石等表面缺陷進(jìn)行檢測和分類[14] 。 劉澤等[15] 針對(duì)鋼軌表面的缺陷檢測研究設(shè)計(jì)了一種動(dòng)態(tài)的閾值分割算法和缺陷區(qū)域提取算法，該算法可對(duì)鋼軌表面掉塊、表面裂痕兩類典型缺陷圖像進(jìn)行處理，可以準(zhǔn)確提取缺陷位置區(qū)域，標(biāo)定缺陷所在位置，并統(tǒng)計(jì)缺陷的特征。 胡秀珍等[16] 提出基于機(jī)器視覺的鐵芯表面缺陷檢測方法，實(shí)現(xiàn)了對(duì)工業(yè)生產(chǎn)線上的鐵芯實(shí)現(xiàn)了實(shí)時(shí)在線智能檢測，該方法首先采用高斯濾波對(duì)圖像進(jìn)行預(yù)處理，然后利用 Sobel 算子對(duì)圖像進(jìn)行分割，最后結(jié)合形態(tài)學(xué)和區(qū)域填充技術(shù)填充感興趣區(qū)域，初步定為缺陷區(qū)域，利用連通區(qū)域面積分析法去除偽缺陷。 周奇[17] 設(shè)計(jì)了一套太陽能電池缺陷判別算法，該算法利用形態(tài)學(xué)凸性分析，輪廓分析以及模板匹配等技術(shù)，實(shí)現(xiàn)了對(duì)太陽能電池邊緣類缺陷的檢測。 李自明[18] 為了解決涂布生產(chǎn)的缺陷問題，將卷積神經(jīng)網(wǎng)絡(luò)引入到涂布的缺陷檢測系統(tǒng)中，利用 caffe 框架構(gòu)建了深度學(xué)習(xí)模型，并采用逐一分析法確定訓(xùn)練網(wǎng)絡(luò)參數(shù)，將涂布樣本輸入到模型中進(jìn)行訓(xùn)練，自動(dòng)完成缺陷的特征提取。 顧寄男等[19] 針對(duì)網(wǎng)片缺陷設(shè)計(jì)了一種缺陷實(shí)時(shí)檢測系統(tǒng)，可有效實(shí)現(xiàn)對(duì)網(wǎng)片缺陷的檢測及分類。 該系統(tǒng)首先利用 CCD 工業(yè)相機(jī)對(duì)網(wǎng)片圖像進(jìn)行采集，并對(duì)圖像進(jìn)行去噪處理，然后通過提取缺陷的特征點(diǎn)對(duì)網(wǎng)片各缺陷類型進(jìn)行預(yù)測，最后根據(jù)缺陷區(qū)域的灰度共生矩陣獲得缺陷特征參數(shù)，并利用 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行分類。 劉英等[20]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的木材缺陷檢測系統(tǒng)，該系統(tǒng)首先對(duì)采集到的木材圖像利用飛下采樣剪切波變換進(jìn)行預(yù)處理，然后，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像實(shí)現(xiàn)深層的算法設(shè)計(jì)，提取木材的缺陷輪廓，最后通過優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的收斂速度，完善對(duì)木材缺陷的提取，該方法具有較高的精度和良好的魯棒性。 呂明珠[21]針對(duì)印刷品表面漏印、劃痕、斑點(diǎn)等缺陷問題，設(shè)計(jì)了一套基于機(jī)器視覺的缺陷檢測系統(tǒng)，利用圖像處理理論和算法，開展了基于形狀的缺陷檢測研究，使用尺度不變特征變換( scale-invariant feature transform， SIFT)角點(diǎn)匹配和 CART(classification and regression tree)決策樹相結(jié)合的方法，對(duì)印刷品表面的缺陷進(jìn)行分類。 左宗祥等[22] 針對(duì)剎車片的缺陷檢測，提出了一種基于機(jī)器視覺的缺陷檢測系統(tǒng)，該系統(tǒng)利用剎車片的灰度值和形態(tài)學(xué)特征，運(yùn)用邊緣提取和局部閾值分割算法，從而定位出被測剎車片的外邊緣，并標(biāo)記出缺陷位置。 Yang 等[23] 為了實(shí)現(xiàn)瓶口缺陷的檢測，提出了一種基于機(jī)器視覺的缺陷檢測方案，利用濾波技術(shù)對(duì)圖像中的噪聲進(jìn)行處理，并采用閾值分割法對(duì)檢測目標(biāo)區(qū)域和背景區(qū)域分離，最后通過邊緣檢測提取瓶口的邊緣特征，進(jìn)行缺陷識(shí)別。
2 機(jī)器視覺缺陷檢測
2. 1 典型機(jī)器視覺缺陷檢測系統(tǒng)的組成
機(jī)器視覺缺陷檢測系統(tǒng)通常由硬件系統(tǒng)和軟件系統(tǒng)兩個(gè)部分組成[24] ，硬件系統(tǒng)主要通過圖像采集裝置完成圖像的采集，軟件系統(tǒng)主要完成對(duì)圖像的處理和分析，提取圖像的特征信息，并根據(jù)特征信息對(duì)產(chǎn)品表面進(jìn)行缺陷識(shí)別、分類。 典型機(jī)器視覺檢測系統(tǒng)的組成如圖 1 所示。圖 1 典型機(jī)器視覺檢測系統(tǒng)的組成 Fig. 1 Composition of typical machine vision detection system
圖像采集裝置一般包括計(jì)算機(jī)、工業(yè)相機(jī)、工業(yè)鏡頭和光源。 工業(yè)相機(jī)是缺陷檢測系統(tǒng)中不可或缺的一部分，其功能是通過成像傳感器將透鏡產(chǎn)生的光學(xué)圖像轉(zhuǎn)換成相應(yīng)的模擬或數(shù)字信號(hào)，并通過工業(yè)相機(jī)與計(jì)算機(jī)的接口將信息傳送到上位機(jī)進(jìn)行處理，工業(yè)相機(jī)的成像質(zhì)量決定著后續(xù)圖像處理的難易程度及處理結(jié)果的準(zhǔn)確性，因此工業(yè)相機(jī)的選擇對(duì)缺陷檢測系統(tǒng)至關(guān)重要[25] 。 工業(yè)鏡頭的選型是整個(gè)缺陷檢測系統(tǒng)中非常關(guān)鍵的環(huán)節(jié)，其選型的優(yōu)劣決定圖像質(zhì)量，甚至可能影響缺陷檢測系統(tǒng)的最終結(jié)果，工業(yè)鏡頭選型時(shí)應(yīng)考慮工作距離、景深、焦距等問題[26] 。 光源作為缺陷檢測系統(tǒng)的首要輔助裝置，用來獲得對(duì)比度較高的圖像，一個(gè)合適的光源對(duì)系統(tǒng)的檢測至關(guān)重要，直接影響到圖像輸入的質(zhì)量，選擇光源時(shí)應(yīng)充分考慮光源的均勻性、光譜 特 性、 對(duì) 比 度、 照 射 角 度 及 照 明 方 式 等因素[27] 。
圖像處理和分析主要包括圖像去噪、閾值分割、形態(tài)學(xué)處理等。 在圖像的采集、傳輸或處理過程中，受檢測對(duì)象表面的清潔度、工業(yè)鏡頭的清潔度、敏感元件內(nèi)部噪聲以及照明變化等因素的影響會(huì)使圖像質(zhì)量下降并產(chǎn)生各種噪聲。 圖像噪聲對(duì)后續(xù)的圖像處理影響很大，它影響圖像處理的各個(gè)環(huán)節(jié)以及輸出結(jié)果，因此，在對(duì)圖像處理前，需要對(duì)待檢測圖像進(jìn)行去噪處理。 圖像閾值分割可以壓縮數(shù)據(jù)量，簡化圖像分析和處理步驟，是進(jìn)行圖像分析、特征提取與模式識(shí)別之前的必不可少的圖像預(yù)處理過程。 圖像形態(tài)學(xué)處理可以分析圖像的結(jié)構(gòu)和形狀特性，以便于后續(xù)缺陷檢測過程的處理。
2. 2 基于機(jī)器視覺的缺陷檢測方法
目前，基于機(jī)器視覺的表面缺陷方法主要分為基于圖像處理的缺陷檢測方法和基于機(jī)器學(xué)習(xí)的缺陷檢測方法。 兩種方法具體介紹如下。
2. 2. 1 基于圖像處理的缺陷檢測
基于圖像處理的缺陷檢測主要分為圖像預(yù)處理和缺陷檢測兩個(gè)部分，圖像預(yù)處理包括圖像去噪和圖像分割等算法，是缺陷檢測的前期工作，缺陷檢測部分主要利用圖像特征提取或模板匹配算法完成對(duì)缺陷的檢測。
圖像特征提取的目的是研究在圖像的眾多特征中提取有用特征，其基本思想是使特征目標(biāo)在圖像的子空間中在同一類內(nèi)具有較小的類內(nèi)聚散度，在不同類內(nèi)具有較大的類間聚散度，它可以理解為圖像從高維空間信息到低維特征空間的映射。 特征提取是表面缺陷檢測的關(guān)鍵環(huán)節(jié)，特征提取的精度對(duì)后續(xù)特征點(diǎn)匹配精度、模板匹配精度、計(jì)算的復(fù)雜度等方面均有影響。 目前常用特征提取的方法主要有基于紋理的特征提取、基于顏色的特征和基于形狀的特征提取等。
模板匹配( template matching) 的任務(wù)就是研究某一特定對(duì)象物體的圖案或輪廓位于圖像的什么地方，進(jìn)而識(shí)別對(duì)象物體，匹配的精度是決定缺陷檢測精度的重要因素之一。 基于元素的匹配方法、基于灰度信息的匹配方法和基于形狀的匹配方法是圖像模板匹配中常用的 3 種方法，一般在表面缺陷檢測中常用基于形狀的匹配方法對(duì)表面缺陷進(jìn)行檢測，具體過程為：首先確定所檢測的目標(biāo)區(qū)域，將目標(biāo)區(qū)域與背景區(qū)域分離，然后定義目標(biāo)區(qū)域一個(gè)標(biāo)準(zhǔn)圖像，創(chuàng)建參考模板，最后將需要測試的圖像放入模型與標(biāo)準(zhǔn)模板進(jìn)行匹配，通過參考模板與測試模板的匹配結(jié)果對(duì)缺陷進(jìn)行識(shí)別分類。
基于圖像處理缺陷檢測的方法已經(jīng)在工業(yè)檢測環(huán)節(jié)得到了應(yīng)用實(shí)踐，例如，文獻(xiàn)[28] 中利用多模板匹配的方法對(duì)印刷品表面檢測，檢測精度可達(dá)0. 1 mm，檢測速度小于 1 s;文獻(xiàn)[29]使用形狀模板匹配對(duì)沖壓件進(jìn)行檢測，單張圖像的匹配時(shí)間為36. 57 ms， 單 個(gè) 工 件 的 平 均 缺 陷 檢 測 時(shí) 間 為165. 26 ms，具有較好的魯棒性;文獻(xiàn)[30]對(duì)圖像處理算法進(jìn)行了改進(jìn)，有效解決了帶鋼表面的缺陷檢測問題。
2. 2. 2 基于機(jī)器學(xué)習(xí)的缺陷檢測
在基于機(jī)器學(xué)習(xí)的缺陷檢測中通常使用支持向量機(jī)(support vector machine， SVM)或決策樹(decision tree) 對(duì)樣本缺陷進(jìn)行分類，SVM 是 1995 年Vapnik [31] 根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出的一種二分類模型，其模型定義為在特征空間上間隔最大的線性分類器，基本思想是在正確劃分訓(xùn)練數(shù)據(jù)集的同時(shí)分離出間隔最大的超平面。 SVM 采用的是結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理，通過將數(shù)據(jù)樣本上特征點(diǎn)所在的低維輸入空間映射到高維的特征空間，達(dá)到線性或線性近似分類的目的。 SVM 是機(jī)器學(xué)習(xí)中廣泛應(yīng)用的一種算法，在解決小樣本、模式識(shí)別等問題中表現(xiàn)出獨(dú)特的優(yōu)勢，具有良好的有效性和魯棒性，目前已在表面缺陷檢測上有成功的應(yīng)用。 朱勇建等[32] 利用 SVM 對(duì)太陽能網(wǎng)版缺陷進(jìn)行檢測分類，經(jīng)實(shí)驗(yàn)驗(yàn)證，該方法缺陷檢測的準(zhǔn)確率可達(dá) 95% ，單幅圖像的檢測時(shí)間為 4. 14 s;劉磊等[33]針對(duì)太陽能電池片常見的幾種缺陷，設(shè)計(jì)了 SVM 分類器對(duì)缺陷進(jìn)行檢測，缺陷識(shí)別率達(dá) 90% 以上。
決策樹是機(jī)器學(xué)習(xí)中一種常用的分類算法，它可以從有特征和標(biāo)簽的數(shù)據(jù)中總結(jié)出決策規(guī)則，并以樹形結(jié)構(gòu)的形式來呈現(xiàn)這些規(guī)則。 一棵決策樹由分支節(jié)點(diǎn)和葉節(jié)點(diǎn)兩部分組成，分支節(jié)點(diǎn)為樹的結(jié)構(gòu)，葉節(jié)點(diǎn)為樹的輸出，在訓(xùn)練時(shí)，決策樹會(huì)根據(jù)某個(gè)指標(biāo)將訓(xùn)練集分割成若干個(gè)子集，并在不斷產(chǎn)生的子集中進(jìn)行遞歸分割，當(dāng)訓(xùn)練子集里所有指標(biāo)相同時(shí)遞歸結(jié)束。 目前，決策樹由于其速度優(yōu)勢，已經(jīng)成為工業(yè)領(lǐng)域解決實(shí)際問題的重要工具之一。郭朝偉等[34]利用決策樹分類器對(duì)柱狀二極管表面缺陷進(jìn)行檢測，取得了較好的缺陷識(shí)別和分類效果;徐鳳云[35]使用決策樹算法對(duì)鋼材表面常見缺陷進(jìn)行了檢測，缺陷平均檢測率可達(dá) 96. 6% 。
2. 3 基于深度學(xué)習(xí)分類的缺陷檢測方法
近年來，深度學(xué)習(xí)在機(jī)器視覺主流領(lǐng)域迅速發(fā)展，已在目標(biāo)檢測、無人駕駛等方面取得了較大的進(jìn)展。 深度學(xué)習(xí)的概念來源于人工神經(jīng)網(wǎng)絡(luò)，是一種深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它可以對(duì)輸入的數(shù)據(jù)特征進(jìn)行自動(dòng)學(xué)習(xí)和提取，解決了傳統(tǒng)機(jī)器視覺中手動(dòng)特征提取的復(fù)雜性與不確定性問題。 基于深度學(xué)習(xí)強(qiáng)大的自動(dòng)學(xué)習(xí)能力，許多科研工作者將深度學(xué)習(xí)應(yīng)用于產(chǎn)品的表面缺陷檢測中，以提高缺陷檢測的效率與精度。 目前常用深度學(xué)習(xí)的缺陷檢測方法如下。
2. 3. 1 基于卷積神經(jīng)網(wǎng)絡(luò)的缺陷檢測
卷積神經(jīng)網(wǎng)絡(luò) ( convolutional neural networks， CNN)是近年發(fā)展起來的一種高效識(shí)別方法，它是由動(dòng)物視覺電生理啟發(fā)而提出，模擬了生物大腦皮層的局部敏感特性和方向選擇特性。 CNN 模型具有多層網(wǎng)絡(luò)結(jié)構(gòu)，可以將上一層學(xué)習(xí)得到的特征作為下一層的輸入，自動(dòng)學(xué)習(xí)各層的數(shù)據(jù)特征。 CNN主要功能是對(duì)圖像進(jìn)行分類，它是圖像分類的“深度學(xué)習(xí)者”，在用于缺陷檢測時(shí)，CNN 的主要作用是通過預(yù)先定義的缺陷類型將數(shù)據(jù)集樣本輸入到模型中進(jìn)行訓(xùn)練并提取缺陷特征，實(shí)現(xiàn)缺陷的分類與識(shí)別。 在缺陷分類的問題上，CNN 已經(jīng)得到了成功的應(yīng)用，文獻(xiàn)[36] 研究了基于 CNN 的鐵路表面缺陷檢測，將軌道圖像放入經(jīng)過微調(diào)的 CNN 模型中，并提取部分特征對(duì)缺陷進(jìn)行分類和定位。 文獻(xiàn) [37]對(duì)經(jīng)典的 Lenet-5 卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了改性，使用 AdamOptimizer 算法優(yōu)化了網(wǎng)絡(luò)模型，有效實(shí)現(xiàn)了對(duì)工業(yè)生產(chǎn)中點(diǎn)膠的缺陷檢測。
2. 3. 2 基于深度置信網(wǎng)絡(luò)的缺陷檢測
深度置信網(wǎng)絡(luò)(deep belief networks， DBN)本質(zhì)上是一種具有生成能力的圖形表示的網(wǎng)絡(luò)，它是概率統(tǒng)計(jì)學(xué)與機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的融合，由若干層神經(jīng)元組成，這些神經(jīng)元有顯性神經(jīng)元和隱性神經(jīng)元之分，顯性神經(jīng)元用于接受圖像的輸入，隱性神經(jīng)元用于圖像特征的提取。 DBN 既可以用于非監(jiān)督學(xué)習(xí)，也可以用于監(jiān)督學(xué)習(xí)，是一種實(shí)用的機(jī)器學(xué)習(xí)算法，它應(yīng)用范圍廣泛，擴(kuò)展性強(qiáng)，不僅可以使用 DBN 用來特征識(shí)別、數(shù)據(jù)分類，還可以用于數(shù)據(jù)生成。 DBN 的組成元件由受限玻爾茲曼機(jī)組成，訓(xùn)練是逐層進(jìn)行的，在每一層中用上一層的數(shù)據(jù)向量來推斷隱層，再把該隱層作為下一層的數(shù)據(jù)向量輸入，在訓(xùn)練過程中，需要充分訓(xùn)練上一層的受限玻爾茲曼機(jī)(restricted Boltzmann machine， RBM)后才能訓(xùn)練當(dāng)前層的 RBM，直至訓(xùn)練到最后一層。 目前，中外許多學(xué)者將 DBN 應(yīng)用于產(chǎn)品表面的缺陷檢測中，例如，楊亞茹[38]針對(duì)錨桿缺陷檢測的問題，將差分( DS) 算法引入到 DBN 網(wǎng)絡(luò)中， 建立了 DSDBN-SVM 的缺陷檢測模型，利用 DS-DBN 模型進(jìn)行數(shù)據(jù)特征提取用于檢測錨桿的缺陷類型。 王憲保等[39]利用 DBN 對(duì)太陽能電池片表面進(jìn)行缺陷檢測，可準(zhǔn)確、快速地檢測出電池片的表面缺陷。
2. 3. 3 基于全卷積網(wǎng)絡(luò)的缺陷檢測
全卷積網(wǎng)絡(luò)(fully convolutional networks， FCN) 是 CNN 的發(fā)展和延伸，通過將 CNN 中的全連接層轉(zhuǎn)化為卷積層來解決 CNN 中只能對(duì)缺陷分類的問題。 FCN 是一種端到端連接方式的網(wǎng)絡(luò)，它可以接收任意像素大小的圖像，直接將原始圖像作為整個(gè)模型的輸入，不需要將輸入轉(zhuǎn)換特征進(jìn)行訓(xùn)練，簡化了像素級(jí)別分類的運(yùn)算量，同時(shí)保留了原始圖像的信息。 FCN 的主要功能是將像素按照輸入圖像中表達(dá)含義的不同進(jìn)行分組或者分割，直接進(jìn)行像素級(jí)別端到端的訓(xùn)練。 在基于 FCN 的缺陷檢測中，應(yīng)提前對(duì)數(shù)據(jù)集中的缺陷樣本進(jìn)行標(biāo)注，F(xiàn)CN 的任務(wù)是將標(biāo)注好的數(shù)據(jù)集輸入到模型中訓(xùn)練，通過對(duì)缺陷特征的學(xué)習(xí)對(duì)缺陷進(jìn)行識(shí)別并定位出圖像樣本缺陷位置。 于志洋[40] 利用 FCN 在開源數(shù)據(jù)集上進(jìn)行了驗(yàn)證，該方法可精確地實(shí)現(xiàn)對(duì)缺陷區(qū)域的分割，分割像素精度達(dá)到 99% ;陳晴[41] 提出了一種基于 FCN 的工件表面缺陷檢測方法，可有效實(shí)現(xiàn)對(duì)工件各類缺陷的檢測，識(shí)別精度可達(dá) 98% 。
2. 3. 4 基于自編碼器( auto encoders, AE) 的缺陷檢測
1986 年，Rumelhart [42] 首次提出了自編碼器的概念，用于復(fù)雜高維數(shù)據(jù)的處理。 自編碼網(wǎng)絡(luò)屬于無監(jiān)督學(xué)習(xí)模型，是一種以重構(gòu)輸入信息為目標(biāo)的神經(jīng)網(wǎng)絡(luò)，具有較好的非線性擬合能力，是最有效的深度學(xué)習(xí)算法之一。 自編碼網(wǎng)絡(luò)包括編碼過程和解碼過程，在編碼過程中，將樣本數(shù)據(jù)的輸入信號(hào)轉(zhuǎn)換成編碼信號(hào)，對(duì)數(shù)據(jù)樣本中的特征信息自動(dòng)進(jìn)行提取;在解碼過程中，將編碼過程所提取到的特征信息轉(zhuǎn)換成重構(gòu)信號(hào)，再將其植入網(wǎng)絡(luò)權(quán)值，以實(shí)現(xiàn)缺陷檢測。 隨著中外研究者對(duì)自編碼器的研究，衍生出不同的自編碼器類型，例如稀疏自編碼器、去噪自編碼器、降噪自編碼器等，并將其應(yīng)用于表面缺陷檢測，取得了良好的效果。 王宇鑫[43] 基于自編碼神經(jīng)網(wǎng)絡(luò)對(duì)橋梁結(jié)構(gòu)損傷的檢測進(jìn)行了研究，取得了較好的檢測效果。 錢彬等[44] 針對(duì)路面裂縫提出了基于稀疏自編碼的裂縫檢測方法，該方法能有效檢測出裂縫區(qū)域，并且抗干擾能力更強(qiáng)。
上述基于機(jī)器視覺缺陷檢測方法的比較如表 1所示，包括各種方法的主流分類(檢測) 模型、優(yōu)缺點(diǎn)對(duì)比。
2. 4 機(jī)器視覺缺陷檢測技術(shù)的研究應(yīng)用
在產(chǎn)品缺陷檢測環(huán)節(jié)，通過比較不同的缺陷檢測技術(shù)在不同領(lǐng)域的應(yīng)用研究情況，分析缺陷檢測算法在產(chǎn)品檢測中的實(shí)驗(yàn)結(jié)果，發(fā)現(xiàn)檢測算法在實(shí)驗(yàn)過程中存在的問題，以提高缺陷檢測技術(shù)在產(chǎn)品生產(chǎn)中檢測和分類的能力。 基于此，表 2 [45-86] 從檢測方法、被檢對(duì)象和實(shí)驗(yàn)結(jié)果等 3 方面對(duì)近 5 年來的典型研究應(yīng)用進(jìn)行了總結(jié)。 通過表 2 可以看出，中外學(xué)者利用機(jī)器視覺檢測技術(shù)對(duì)印刷品、金屬材料、食品、外包裝、紡織品等制造業(yè)產(chǎn)品進(jìn)行了缺陷檢測，在上述的檢測方法中，基于圖像處理的缺陷檢測方法因具有使用樣本較少，對(duì)某一特定缺陷識(shí)別度較高的特點(diǎn)，廣泛應(yīng)用于印刷電路板、金屬材料等缺陷單一固定的產(chǎn)品檢測中。 文獻(xiàn)[45] 采用了圖像分割和遺傳算法結(jié)合的方法，對(duì)印刷電路板表面缺陷檢測效果較好，文獻(xiàn)[50-52]則采用了模版匹配的方法主要對(duì)工業(yè)產(chǎn)品的表面缺陷進(jìn)行檢測。進(jìn)一步研究文獻(xiàn)[45-52]實(shí)驗(yàn)結(jié)果可知，基于圖像處理的方法對(duì)產(chǎn)品表面平均檢測精度在 95% 以上，但是，該方法同時(shí)具有一定的局限性，只適用于輪廓清晰、缺陷單一的產(chǎn)品，并不適用于背景復(fù)雜的產(chǎn)品。 基于機(jī)器學(xué)習(xí)的缺陷檢測方法多采用支持向量機(jī)和決策樹算法，分類能力較強(qiáng)，在印刷品、食品等缺陷檢測中經(jīng)常應(yīng)用，文獻(xiàn)[53-54，62]利用支持向量機(jī)算法對(duì)印刷品表面缺陷進(jìn)行了檢測，檢測準(zhǔn)確率均在 95% 以上。 文獻(xiàn)[57-60，63] 則是利用機(jī)器學(xué)習(xí)技術(shù)對(duì)金屬材料表面缺陷進(jìn)行檢測，取得了較高的檢測精度。 但該方法只適用于缺陷的二分類，對(duì)于多種缺陷并不能發(fā)揮其性能。 基于深度學(xué)習(xí)的檢測方法因具有檢測效率高、學(xué)習(xí)能力強(qiáng)、自動(dòng)化程度高等特點(diǎn)，廣泛應(yīng)用于生產(chǎn)過程中多種產(chǎn)品缺陷檢測。 文獻(xiàn)[64-86] 給出了多種產(chǎn)品在不同深度學(xué)習(xí)模型下的檢測結(jié)果，滿足檢測準(zhǔn)確率的同時(shí)保證了檢測的實(shí)時(shí)性。 目前基于深度學(xué)習(xí)的缺陷檢測多是采用公開的缺陷數(shù)據(jù)集，在應(yīng)用于實(shí)際產(chǎn)品生產(chǎn)時(shí)，缺陷樣本的數(shù)量往往達(dá)不到訓(xùn)練要求，因此，許多學(xué)者將遷移學(xué)習(xí)應(yīng)用到深度學(xué)習(xí)的訓(xùn)練中，進(jìn)一步提升了檢測系統(tǒng)的性能。 上述的研究不僅可以為以后的產(chǎn)品生產(chǎn)中缺陷檢測環(huán)節(jié)提供理論依據(jù)，更能為實(shí)踐環(huán)節(jié)提供技術(shù)指導(dǎo)。——論文作者：張 濤1 , 劉玉婷1 , 楊亞寧2∗ , 王 鑫1 , 金映谷1
相關(guān)期刊推薦：《科學(xué)技術(shù)與工程》雜志是中國科協(xié)主管、中國技術(shù)經(jīng)濟(jì)研究會(huì)主辦，本刊及時(shí)報(bào)道我國自然科學(xué)各學(xué)科基礎(chǔ)理論和應(yīng)用研究創(chuàng)新性結(jié)果，主要登載自然科學(xué)基金資助課題及國家、省部的重大科研項(xiàng)目的研究論文、研究簡報(bào)、短訊以及自然科學(xué)各專業(yè)、各學(xué)科國內(nèi)外動(dòng)態(tài)和發(fā)展前景的綜述和評(píng)論。可供自然科學(xué)界科技工作者、工程技術(shù)專家、高等院校師生、自然科學(xué)與工程技術(shù)管理部門的領(lǐng)導(dǎo)和工作人員參閱。
