導讀
紡織品在生産過程中以及在進入市場之前必須經過各種各樣的檢驗和測試，其中疵點檢測是最為主要的部分。疵點檢測是布面下機後對布面表面瑕疵的檢測和标記。以前織物疵點的檢測主要還是由人工視覺離線檢測來完成，該方法存在檢測速度低、驗布結果受驗布人員主觀影響較大，誤檢率和漏檢率高等缺點。本文提出一種改進的Cascade R-CNN布匹疵點檢測方法，檢測精度大大提高，一起來看看呀~
由于布匹疵點種類分布不均，部分疵點具有極端的寬高比，而且小目标較多，導緻檢測難度大，是以提出一種改進級聯R-CNN的布匹疵點檢測方法。針對小目标問題，在R-CNN部分采用線上難例挖掘，加強對小目标的訓練；針對布匹疵點極端的長寬比，在特征提取網絡中采用了可變形卷積v2來代替傳統的正方形卷積，并結合布匹特征重新設計邊界框比例。最後采用完全交并比損失作為邊界框回歸損失，擷取更精确的目标邊界框。結果表明：對比改進前的模型，改進後的模型預測邊界框更加精确，對小目标的疵點檢測效果更好，在準确率上提升了3.57%，平均精确度均值提升了6.45%，可以更好地滿足面料疵點的檢測需求。
布匹缺陷檢測任務的難點可能有以下幾個方面：小目标問題，缺陷具有極端的寬高比，樣本不均衡。在MS COCO資料集[1]中，面積小于32×32像素的物體被認為是小目标。小目标具有分辨率低，圖像模糊，攜帶的資訊少的特點，導緻其特征表達能力弱，也就是在提取特征過程中，能提取到的特征非常少，不利于其檢測；布匹疵點由于生産工藝的原因常常具有極端的寬高比，例如斷經、斷緯等，給其邊界框的預測增添了難度；樣本不均衡是指部分疵點擁有大量的訓練樣本，而另一部分疵點則隻有少數的樣本，讓分類器學習起來很困難。
針對小目标問題，Hu等[2]認為小目标在ROI池化之後會破壞小尺度目标的結構，導緻物體結構失真，于是提出了新的場景感覺ROI池化層，維持場景資訊和小目标的原始結構，可以在不增加額外時間複雜度的前提下提升檢測精度；Li等[3]提出了Perceptual GAN網絡來生成小目标的超分表達，Perceptual GAN利用大小目标的結構相關性來增強小目标的表達，使其與其對應大目标的表達相似，進而提升小目标檢測的精度。
針對布匹缺陷極端的長寬比，陳康等[4]提出了通過增加錨定框的尺寸和比例來增加錨定框的數量，最終提升了對多尺度目标的檢測。孟志青等[5]提出基于快速搜尋密度頂點的聚類算法的邊框生成器，結合真實框的分布特征分區間對聚類中心進行權重融合，使區域建議網絡生成的邊界框更符合布匹疵點特征。
針對樣本不均衡，Chawla等[6]提出了人工少數類過采樣法，非簡單地對少數類别進行重采樣，而是通過設計算法來人工合成一些新的少數樣本，減少随機過采樣引起的過度拟合問題,因為生成的是合成示例，而不是執行個體的複制，也不會丢失有用的資訊；Yang等[7]通過半監督和自監督這兩個不同的視角去嘗試了解和利用不平衡的資料，并且驗證了這兩種架構均能提升類别不均衡的長尾學習問題。
針對布匹疵點小目标多，極端長寬比的問題，本文提出一種改進的Cascade R-CNN[8]布匹疵點檢測方法，為适應布匹疵點的極端長寬比，在特征提取網絡的後三個階段采用了可變形卷積(DCN)v2[9]，在RCNN部分采用了線上難例挖掘(OHEM)[10]來提高小目标的檢測效果，并采用完全交并比損失函數(CIoU Loss)[11]進一步提升目标邊界框的回歸精度。
01
改進Cascade R-CNN的
面料疵點檢測方法
Faster R-CNN[12]的單一門檻值訓練出的檢測器效果有限，本文采用了Cascade R-CNN網絡結構，如圖1所示。其在Faster R-CNN的基礎上通過級聯的方式逐階段提高IoU的門檻值，進而使得前一階段重新采樣過的建議框能夠适應下一個有更高門檻值的階段。工業場景下目标面積小，特征微弱，通過多級調整，可以使網絡集中于低占比的缺陷目标，最終獲得更為精确的檢測框。
圖1 Cascade R-CNN網絡結構
考慮到實驗環境的顯存和算力，骨幹網絡主要采用了ResNet50[13]作為特征提取網絡來進行對比實驗，并接入特征金字塔網絡[14]進行多尺度的特征融合，提升對小目标的檢測效果。
1.1 線上難例挖掘采樣
在兩階段的目标檢測模型中，區域建議網絡會産生大量的建議框，但一張圖檔的目标數量有限，絕大部分建議框是沒有目标的，為了減少計算量，避免網絡的預測值少數服從多數而向負樣本靠攏，需要調整正負樣本之間的比例。
目前正常的解決方式是對兩種樣本進行随機采樣，以使正負樣本的比例保持在1∶3，這一方式緩解了正負樣本之間的比例不均衡，也被大多數兩階段目标檢測方法所使用，但随機選出來的建議框不一定是易出錯的框，這就導緻對易學樣本産生過拟合。
線上難例挖掘就是多找一些困難負樣本加入負樣本集進行訓練，如圖2所示，b部分是a部分的複制，a部分隻用于尋找困難負例，b部分用來反向傳播，然後把更新的參數共享到a部分，a部分正常的前向傳播後，獲得每個建議框的損失值，在非極大值抑制後對剩下的建議框按損失值進行排序，然後選用損失較大的前一部分當作輸入再進入b部分進行訓練。
圖2 線上難例挖掘結構
布匹疵點中的小目标疵點往往難以檢測，小目标常常被劃分為難例，在Cascade R-CNN的每個級聯層引入線上難例挖掘采樣之後，提高了整個網絡的短版，防止了網絡針對大量易學樣本過拟合，有利于提升面料疵點的檢測精度。訓練集越大越困難，線上難例挖掘在訓練中所選擇的難例就越多，訓練就更有針對性，效果就越好。而布匹疵點恰好小目标多，寬高比方差大，難例較多，更适合線上難例挖掘的應用，通過讓網絡花更多的精力學習難樣本，進一步提高了檢測的精度。
1.2 可變形卷積v2
可變形卷積v2由可變形卷積[15]演變而來。可變形卷積顧名思義就是卷積的位置是可變形的，并非在傳統的N×N的網格上做卷積，傳統卷積僅僅隻能提取到矩形框的特征，可變形卷積則能更準确地提取到複雜區域内的特征。以N×N卷積為例，每個輸出y(p0)，都要從中心位置x(p0)上采樣9個位置，(-1,-1)代表x(p0)的左上角，(1,1)代表x(p0)的右下角。傳統的卷積輸出如式(2),R為規格網格，而可變形卷積如式(3)，在傳統卷積操作上加入了一個偏移量Δpn，使采樣點擴散成非網格的形狀。
R={(-1,-1),(-1,0)...,(0,1),(1,1)}(1)
(2)
(3)
而可變形卷積v2如式(4)，在可變形卷積的基礎上加上了每個采樣點的權重Δmn，這樣增加了更大的變形自由度，對于某些不想要的采樣點可以将權重設定為0，提高了網絡适應幾何變化的能力。
(4)
ResNet網絡共有5個階段，如圖3所示，第一階段為對圖像的預處理，結構較為簡單，後4個階段結構類似，包含不可串聯的Conv Block和可串聯的Identity Block。本文在ResNet50骨幹網絡的最後3個階段采用可變形卷積v2，能夠計算每個點的偏移和權重，從最合适的地方取特征進行卷積，以此來适應不同形狀的瑕疵，緩解了傳統卷積規格格點采樣無法适應目标的幾何形變問題，如圖4所示，改進後的骨幹網絡更能适應布匹疵點的極端長寬比，有利于疵點的精确檢測。
圖3 Resnet骨幹網絡結構
圖4 可變形卷積示意
1.3 完全交并比損失函數
目标檢測中常用的邊界框回歸損失函數有L1 Loss，L2 Loss，Smooth L1 Loss，上述3種損失在計算時，先獨立地求出邊界框4個頂點的損失，然後相加得到最終的邊界框回歸損失，這種計算方法的前提是假設4個點是互相獨立的，但實際它們是相關的。而評價邊界框的名額是IoU，如式(5)所示，即預測邊界框和真實邊界框的交并比。
(5)
但上述3種損失和IoU并不等價，多個邊界框可能損失大小相同，但IoU差異較大，是以就有了IoU Loss[16]，如式(6)所示。
IoU Loss=-ln(IoU)(6)
IoU Loss直接把IoU作為損失函數，但它無法解決預測框和真實框不重合時IoU為0的問題，由此産生了GIoU Loss[17]，GIoU如式(7),對于兩個邊界框A和B，要找到一個最小的封閉形狀C，讓C将A和B包圍在裡面，然後計算C中沒有覆寫A和B的面積占C總面積的比例，最後用A和B的IoU值減去這個比值。
(7)
但是當目标框完全包含預測框時，GIoU退化為IoU，IoU和GIoU的值相等，無法區分其相對位置關系，由此産生了DIoU和CIoU。DIoU将真實框與預測框之間的距離，重疊率以及尺度都考慮進去，如式(8)：
(8)
式中：b，bᵍᵗ分别代表預測框和真實框的中心點，ρ表示計算兩個中心點之間的歐式距離，c表示包含預測框和真實框的最小外界矩形的對角線長度。
CIoU考慮到邊界框回歸中的長寬比還沒被考慮到計算中，在DIoU懲罰項的基礎上添加了影響因子αv，如式(9)：
(9)
式中：α是權重函數, v表示長寬比的相似性，如式(10)：
(10)
式中：w、wᵍᵗ分别代表預測框和真實框的寬度，h、hgt分别代表預測框和真實框的高度。
最終CIoU的損失定義如式(11)：
(11)
本文将原始模型中的邊界框回歸損失選為CIoU Loss，CIoU能夠将重疊面積，中心點距離，長寬比這3個幾何因素都考慮進去，相比其他邊界框損失函數，其收斂的精度更高，進而可以提升布匹疵點檢測時的定位準确度。
02
實驗結果與對比分析
2.1 實驗資料集
本文使用天池布匹疵點資料集，包含約9 600張大小為2 446×1 000的純色布匹圖像，其中正常圖檔約3 600張，瑕疵圖檔約6 000張，每張圖檔包含一種或多種瑕疵的一個或幾個，共9 523個疵點，包含了紡織業中常見的34類布匹瑕疵，将某些類别合并後，最終分為20個類别。各類疵點的分類及數量見表1，其中6百腳、9松經、10斷經、11吊經、14漿斑等屬于寬高比比較極端的疵點，3三絲、4結頭、7毛粒、12粗緯、13緯縮等屬于小目标的疵點。
表1 布匹瑕疵的分類與數量
圖5為資料集中不同類型疵點的目标數統計，不同疵點間數目差異巨大，種類分布嚴重不均，例如結頭近2 000個樣本，而花闆跳隻有134個樣本，這容易産生過拟合，使訓練出的模型泛化能力較差；圖6 展示了不同類型疵點的寬高比，從零點零幾到五十，疵點尺寸差異較大；圖7展示了典型的寬高比懸殊的疵點；圖8為不同面積目标的數量占比，其中小目标占比較高，約四分之一，這些都給布匹疵點的檢測帶來了困難。
圖5 不同類别目标數統計
圖6 目标寬高比統計
圖7 典型疵點
圖8 目标面積統計
由于資料尺度固定，也不涉及自然場景，非常适合通過上下反轉等操作來進行資料增強。為減少過拟合，降低疵點種類分布不均的影響，本文對樣本數小于200的四類疵點進行了水準翻轉和垂直翻轉的線下增強，對樣本數在200～300之間的三類疵點進行了水準翻轉的線下增強，最終将資料集擴充到約 10 000 張瑕疵圖檔。
2.2 實驗環境及配置
實驗運作的環境為英特爾i9 10900X，GeForce RTX3080，32G記憶體，Ubuntu18.04作業系統。
為盡可能地利用實驗資料，訓練集中隻使用瑕疵圖檔，随機選1000張正常圖檔進行兩等分，分别放于驗證集和測試集，并向驗證集和測試集中加入瑕疵圖檔，最終訓練集、驗證集和測試集比例約為60%、20%和20%。對于所提出的Cascade R-CNN卷積神經網絡，選擇交叉熵作為分類損失函數。為了加快收斂速度，使用了COCO的預訓練權重，并設定了梯度裁剪來穩定訓練過程，避免産生梯度爆炸或梯度消失。
考慮到樣本的寬高比差異較大，而Cascade R-CNN 網絡原始的邊界框比例是根據COCO資料集設計的，原始的[0.5,1.0,2.0]的比例并不能滿足布匹疵點的需要，是以将邊界框比例設計為[0.02,0.05,0.1,0.5,1.0,2.0,10.0,20.0,50.0]來提高檢測精度。
用Soft-NMS[18]代替了原模型中NMS[19]，Soft-NMS沒有将其重合度較高的邊界框直接删除，而是通過重合度對邊界框的置信度進行衰減，最終得到的結果并非一定是全局最優解，但比NMS更泛化，能有效避免面料疵點丢失，且不會增加算法的複雜度[20]。
2.3 實驗結果對比
在進行資料擴增前，數量多的樣本能夠最先被識别出來，而且最終的平均精确度較高，而數量少的樣本，識别出來的較晚，且最終的平均精确度較低，模型明顯過拟合，偏向于數量較多的樣本，通過對類别少的資料進行資料擴增，有效的緩解了這一問題，且最終的檢測精度也有提升。
模型改進前後的檢測效果對比如圖9所示，改進前後的效果按照上下分布，改進後的模型對目标的邊界識别更加精準，對小目标的檢出能力更強，疵點檢測效果更好。
圖9 模型改進前後的檢測效果對比
為了對比模型的性能，本文以準确率ACC和平均精确度均值mAP[21]作為評價名額，ACC是有瑕疵或無瑕疵的二分類名額，評估瑕疵檢出能力。mAP是所有類别的平均精确度的均值，參照PASCALVOC的評估标準[22]進行計算。模型改進前後的評價參數如表2所示，線上難例挖掘采樣對2、7、13、15、17、18、20等類别的提升較大，這些類型本身的AP較低，可以歸為難例，證明了線上難例挖掘采樣的有效性。引入OHEM後，雖然模型準确率略微下降，但平均精确度均值還是有較為明顯的提升。綜合來看，改進後的模型在準确率和平均精确度均值上分别提升了3.57%和6.45%，證明了上述3種方法的有效性。
表2 模型改進前後的評價參數
影響小目标檢測效果的因素有輸入圖像的尺度、小目标的數量、特征融合、邊界框的設計和光照強度等，為了獲得更好的檢測效果，在訓練出模型後，再在不同的光強下對測試集進行測試，本文使用了mmdetection架構的線上調整亮度的方式，将亮度劃分為0～10之間的小數範圍，對比實驗結果如表3所示，不同光強下的平均精确度均值差異較大，驗證了光強對布匹疵點的識别影響較大，但本文未能找到統一的最佳的光照強度，後通過比較資料集發現，本文資料源于實際工業場景，不同資料已有明顯不同的光強，且布匹顔色并不一緻，不同顔色的布匹最合适的光強可能并不一緻，是以本文的後續實驗不再調整統一的光照強度，采用原始資料集的亮度。
表3 不同光照強度下測試集的對比
表4為引入線上難例挖掘采樣前後的模型性能對比，在引入線上難例挖掘之後，測試集上的性能明顯提升，而訓練集上的性能反而下降，證明了線上難例挖掘采樣能夠減輕模型的過拟合，同時對于模型的性能提升也是有效的。
表4 引入OHEM前後的對比
除ResNet50外，本文還選用了不同的特征提取網絡進行對比實驗，如表5所示，改進後的算法分别采用了ResNet50，ResNet101，ResNext101骨幹網絡進行對比，結果表明本文算法對這幾種骨幹網絡都适用，在相同算法下，ResNext101的性能優于ResNet101和ResNet50，準确率和平均精确度均值分别達到了98.46%和58.11%，相比原來的ResNet50分别提升了1.26%和2.74%，平均精确度均值相比準确率有着更為明顯的提升。
表5 算法在不同特征提取網絡上的對比
03
結論
針對布匹疵點具有極端的寬高比，而且小目标較多的問題，提出了基于Cascade R-CNN的布匹檢測算法，根據布匹疵點的形狀特點，用可變形卷積v2替代傳統的卷積方式進行特征提取，并使用線上難例挖掘采樣的方法提升對小目标疵點的檢測效果，用CIoU Loss提升邊界框的精度。結果表明，本文提出的方法比原始模型擁有更高的準确率和平均精确度均值，疵點檢出能力更強，精度更高。此外，由于實驗環境算力的限制，本文未采用更多的擴增資料，也并沒有進行模型融合去提升最終的模型評價名額。實驗過程中發現，邊界框寬高比，NMS門檻值，IoU門檻值等一些超參數的設定，對模型的性能有極大的影響。例如小目标尺度小，邊界框的交并比更低，在相同門檻值下難以得到足夠的正樣本[23]，是以，如何更深的了解布匹疵點資料特性，選擇最适合布匹疵點特性的超參數清單，以此來提高目标檢測的性能，将是未來的一個研究方向。
參考文獻 ：
[1] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft COCO: Common objects in context [C]// European Conference on Computer Vision, Cham: Pringer International Pubcishing, 2014:740-755.
[2] HU X, XU X, XIAO Y, et al. SINet: A scale-insensitive convolutional neural network for fast vehicle detection[J]. IEEE Transactions on Intelligent Transportation Systems,2019,20(3): 1010-1019.
[3] LI J, LIANG X, WEI Y, et al. Perceptual generative adversarial networks for small object detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA. IEEE, 2017: 1222-1230.
[4] 陳康,朱威,任振峰,等.基于深度殘差網絡的布匹疵點檢測方法[J]. 小型微型計算機系統,2020,41(4):800-806.CHEN Kang, ZHU Wei, REN Zhenfeng, et al. Fabric defect detection method based on deep residual network[J]. Journal of Chinese Mini-Micro Computer Systems. 2020, 41(4): 800-806.
[5] 孟志青,邱健數.基于級聯卷積神經網絡的複雜花色布匹瑕疵檢測算法[J]. 模式識别與人工智能,2020,33(12): 1135-1144.MENG Zhiqing, QIU Jianshu. Defect detection algorithm of complex pattern fabric based on cascaded convolution neural network[J]. Pattern Recognition and Artificial Intelligence, 2020, 33(12): 1135-1144.
[6] CHAWLA N V, BOWYER K W, HALL L O, et al. Synthetic minority over-sampling technique[J]. Journal of artificial intelligence research,2002,16: 321-357.
[7] YANG Y Z, XU Z. Rethinking the value of labels for improving class-imbalanced learning[EB/OL]. 2020: arXiv: 2006.07529[cs.LG]. https://arxiv.org/abs/2006.07529.
[8] CAI Z W, VASCONCELOS N. Cascade R-CNN: Delving into high quality object detection[C]//Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA. IEEE, 2018: 6154-6162.
[9] ZHU X Z, HU H, LIN S, et al. Deformable ConvNets V2: More deformable, better results[C]//Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA. IEEE, 2019: 9300-9308.
[10] SHRIVASTAVA A, GUPTA A, GIRSHICK R. Training region-based object detectors with online hard example mining[C]// Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA. IEEE, 2016: 761-769.
[11] ZHENG Z H, WANG P, LIU W, et al. Distance-IoU loss: Faster and better learning for bounding box regression[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 12993-13000.
[12] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.
[13] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]// Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA. IEEE, 2016: 770-778.
[14] LIN T Y, DOLLwidth=9,height=12,dpi=110R P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]// Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA. IEEE, 2017: 936-944.
[15] DAI J F, QI H Z, XIONG Y W, et al. Deformable convolutional networks[C]//International Conference on Computer Vision. Venice, Italy. IEEE, 2017: 764-773.
[16] YU J H, JIANG Y N, WANG Z Y, et al. UnitBox: An advanced object detection network[C]//Proceedings of the 24th ACM International Conference on Multimedia. Amsterdam The Netherlands. New York, NY, USA: ACM, 2016: 516-520.
[17] REZATOFIGHI H, TSOI N, GWAK J, et al. Generalized intersection over union: A metric and a loss for bounding box regression[C]// Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA. IEEE, 2019: 658-666.
[18] BODLA N, SINGH B, CHELLAPPA R, et al. Soft-NMS: Improving object detection with one line of code[C]// International Conference on Computer Vision. Venice, Italy. IEEE, 2017: 5562-5570.
[19] NEUBECK A, VAN GOOL L. Efficient non-maximum suppression[C]// 18th International Conference on Pattern Recognition. Hong Kong, China. IEEE,2006: 850-855.
[20] 安萌,鄭飂默,王詩宇,等.一種改進Faster R-CNN的面料疵點檢測方法[J]. 小型微型計算機系統,2021,42(5):1029-1033.AN Meng, ZHENG Liaomo, WANG Shiyu, et al. A fabric defect detection method based on improved faster R-CNN[J]. Journal of Chinese Computer Systems, 2021,42(5):1029-1033.
[21] 張澤苗,霍歡,趙逢禹. 深層卷積神經網絡的目标檢測算法綜述[J]. 小型微型計算機系統,2019,40(9):1825-1831.ZHANG Zemiao, HUO Huan, ZHAO Fengyu. Survey of object detection algorithm based on deep convolutional neural networks[J]. Journal of Chinese Computer Systems, 2019, 40(9): 1825-1831.
[22] PADILLA R, PASSOS W L, DIAS T L B, et al. A comparative analysis of object detection metrics with a companion open-source toolkit[J]. Electronics,2021,10(3): 279.
[23] 陳科圻,朱志亮,鄧小明,等.多尺度目标檢測的深度學習研究綜述[J]. 軟體學報,2021,32(4):1201-1227.CHEN Keqi, ZHU Zhiliang, DENG Xiaoming, et al. Deep learning for multi-scale object detection: asurvey[J]. Journal of Software. 2021,32(4):1201-1227.
本文僅做學術分享，如有侵權，請聯系删文。