0 引言
随着人們物質生活水準的提高，對食品品質要求也越來越高，而國家經濟的快速發展促進食品生産速度随之提升，是以，如何在流水線上保證生産速度的同時檢測食品品質已逐漸成為研究問題。
目前，市面上存在的圖像傳感器中，大多以模闆比對的方法對特定規格的産品進行檢測，如車牌、餅幹、門窗等，而對于許多不規則的食品如鳳爪、鴨翅、蝦仁等卻無法對其包括産品尺寸、傳送方向等進行有效檢測。本設計采用具有雙核的ARM-Cortex TM -A9處理系統(PS)和Artix-7可程式設計邏輯(PL)的ZYNQ作為主要制和算法處理單元，通過圖像測量方法提取不規則食品外觀共同特征，是進一步檢測食品傳送方向是否與流水線方向一緻，以及食品缺損問題的關鍵。
從我國食品發展行業趨勢來看，市場上需要能夠應用在流水線上的高精度、針對無特定性狀食品檢測處理的圖像傳感器，是以其具有十分廣闊的市場前景。
1 系統的總體結構
整個系統由圖像采集子產品OV5640、圖像處理子產品、VGA顯示子產品、機械執行子產品以及光電開關組成。如圖1所示。
圖像處理子產品是整個系統的控制核心。圖像采集單元通過單目攝像頭OV5640對食品生産線上的食品成品進行采集，由光電開關檢測目前圖像采集區域是否有完整食品傳入，将觸發信号傳送給ZYNQ平台對實時采集到的圖像資料進行灰階化、門檻值分割、圖像膨脹、特征提取，以實作運動食品的檢測，并對目前檢測食品傳送方向是否正确以及是否存在缺損作出判斷。通過控制分揀開關，将次品與合格品分類集中，友善下一步的産品生産包裝工藝。
視訊圖像顯示單元是在FPGA控制下對處理前後的視訊圖像進行顯示 [1] 。其中圖像測量算法是基于背景顔色的圖像分割算法，它是本文在灰階門檻值分割算法基礎上提出的一種适合本系統的算法。
2 圖像采集及顯示系統設計
圖像采集系統平台的設計主要包括以下幾個部分：單目OV5640攝像頭模組，用來實作圖像的采集；ZNYQ-7000系列開發闆用來實作攝像頭采集、資料存儲與傳遞以及完成圖像處理算法；VGA顯示器用來顯示攝像頭實時采集的圖像以及經ZYNQ開發闆處理後的結果。
2.1 OV5640攝像頭子產品
本子產品設計中采用美國OmniVision公司的CMOS圖像傳感器OV5640。OV5640擁有2590×1944的感光陣列，能夠以15幀的500萬像素的分辨率記錄圖像，并且可對輸出資料格式、圖像分辨率、輸出幀率以及圖像特性等進行配置，滿足許多應用需求 [2] 。其攝像頭模組通過DVP接口和FPGA連接配接實作圖像的傳輸,具體參數及主要特性如下：
(1)具有标準的SCCB接口；
(2)支援多種視訊輸出格式：RAW RGB、RGB565/555/444、YCbCr422等；
(3)支援VGA、QVGA以及1080P分辨率輸出；
(4)支援數字視訊端口(DVP)并行輸出接口和雙車道MIPI輸出接口。
OV5640圖像資料采集子產品是整個系統的輸入子產品，它主要負責将攝像頭采集到的圖像資料傳送到FPGA例化的存儲器中，使用DVP傳輸視訊時，PCLK為像素時鐘，HREF為行同步信号，VSYNC為場同步信号，資料線為8 bit，在FPGA中配置RGB565輸出。
OV5640晶片采集的資料通過FPGA軟核VDMA0、VDMA1分别用作視訊的輸入，将資料寫入與PS端相連的DDR中，以及視訊的輸出。ARM核完成對存儲資料的圖像處理及分析算法。使能的VDMA在DDR中讀取相應的資料，資料經過圖像測量算法提取特征後再輸出。VDMA擷取的資料均為符合AXI4協定的32位資料，經過32位資料轉24位RGB 888格式資料後，根據VGA輸出協定，在相應的時序控制下，依次轉換為DVI資料輸出到VGA顯示器中 [3] 。
2.2 VDMA配置子產品
VDMA是針對視訊圖像處理的一個特殊的DMA。在ZYNQ-7000的PS中，包含處理器和DDR存儲器控制器；而在PL中，實作AXI DMA和AXI資料FIFO。通過AXI-Lite總線，處理器與AXI DMA通信，用于建立、初始化和監控資料傳輸。VDMA有一個AXI4 MemoryMap接口，用于對存儲器進行讀寫視訊資料，AXI4-Lite接口用于讀取VDMA狀态以及配置VDMA的參數；AXI4-Stream接口用于視訊的輸入和輸出。VDMA系統結構原理如圖2所示。
在該設計中，AXI_MM2S和AXI_S2MM是存儲器映射的AXI4總線，提供了對DDR存儲器的通路。AXIS_MM2S和AXIS_2MM是AXI4 Stream總線，它可以連續的傳輸資料，而不需要提供位址資訊 [4] 。
2.3 VGA顯示設計
VGA顯示子產品分為：上電等待子產品、寄存器配置子產品、攝像頭采集子產品、SDRAM控制子產品以及系統控制子產品。其中FIFO控制子產品原理機制如圖3所示。
由于視訊圖像資料通過ZYNQ系統的高速AXI_HP0口輸出，系統使用AXI_VDMA IP核來通過AXI_interconnect連接配接ZYNQ系統的HP0口，AXI_subset_converter來進行資料格式的轉換，轉換為24位的視訊圖像資料，V_axi4s_vid_out IP将視訊流裝換成RGB888的視訊格式信号。最後視訊圖像通過自定義IP核(rgb2dvi)轉換成TMDS信号驅動VGA顯示器顯示圖像。構架好的系統如圖4所示。
2.4 光電開關檢測設計
為減少圖像資料處理量，并較準确确定視訊圖像流中哪一幀中食品進入到單目攝像頭圖像采集區域内，系統設計中采用對射式光電開關來檢測目标，并将觸發信号傳送到ZYNQ中，在間隔一定時間後處理目前幀圖像，確定其采集食品圖像的完整性。
采用對射式的光電開關可分辨不透明的反光物體，有效距離大，不易受幹擾，靈敏度高，并且響應時間快，可将觸發信号傳送給ZYNQ平台的I/O口作為進行圖像測量的起始信号。
3 系統軟體設計
圖像處理部分包括：圖像預處理、圖像膨脹及基于圖像測量的特征提取。軟體設計流程如圖6。
3.1 圖像預處理設計
針對不規則食品外觀的檢測，首先要對圖像進行預處理，再進一步用圖像測量算法提取圖像特征。本文提取的特征是基于灰階圖像的，需将采集到的24位真彩色圖轉換為灰階圖
由于光源和實際拍攝的情況，采集到的圖像可能含有噪聲，為排除噪聲的影響，先對圖像進行去噪的處理。根據項目需要，采用中值濾波的方法。這種非線性的圖像平滑法對脈沖幹擾級的椒鹽噪聲抑制效果較好，能保護邊緣少受模糊的影響。
3.2 圖像形态學處理
為了更加明顯區分背景與目标，需将灰階圖進行二值化處理來區分鳳爪與傳送帶。采用門檻值分割的方法，根據門檻值将圖像中灰階級大于門檻值的像素點和小于像素值的像素點分開，進而實作圖像分割 [5] 。
其中，T為預設的門檻值，從0~255中取值，具體大小由工業流水線實際環境決定，根據多次試驗可選取150作門檻值分割，是目标為黑色，背景為白色。
根 據 圖像 特 征 提 取算 法 識 别 的要 求 ， 需 通過周遊像素值所在區域通過黑白像素值邊界的跳躍次數來區分爪趾的數目及食品被放置方向與傳送帶方向是否一緻，是以需要保證目标的連通性要完整，将得到的二值化圖像進行一輪腐蝕膨脹，以消除噪聲點，使不連續的地方連接配接起來，為下一步的圖像識别及特征提取做基礎。
本系統中以鳳爪為例，對二值化後的目标鳳爪進行圖像膨脹，采用15×15大小的方陣集合做膨脹的結構元素。關鍵源代碼如下(定義flag為記錄結構元素區域内各像素值與運算後的結果)：
for(j=0;j
for(i=0;i
flag=1; //賦初值
//采用15×15大小結構元素作掩膜處理
for(m=j-1;m
for(n=i-1;n
if(image_inj==0||image_inm==0)
{flag=0;break;}
else{flag=1;}}
if(flag==0){break;}}
//根據flag值來輸出膨脹後結果
if(flag==0){image_outj=0;}
else{image_outj=255;}}}}
通過圖像膨脹後的結果如圖7所示：可去除二值化結果中的不連續的噪聲點及食品本身瑕疵的影響。
3.3 圖像測量算法設計
機器視覺定位的最終目的是利用工業相機采集運動食品的圖像，再通過算法确定運動目标的特征點與特征邊緣，以友善進行機械分揀 [6] 。對于在高速流水線上采集到的視訊圖像流進行處理，首先，通過光電開關的觸發信号在視訊流中确定食品目标已全部進入圖像采集區域，對該幀圖像作圖像識别，并在确定幀圖像後，識别目标送入方向是否正确及是否存在殘缺。
對于門檻值化并經過圖像膨脹處理後，目标區域是完整的連通區域，可通過周遊查詢提取該不規則圖像邊緣特征。從鳳爪這個研究對象的特點來看具有以下特性：
(1)從形狀上看，鳳爪共有4個指頭，其中一端較短，其餘三個指頭較長，中間者為最長。骨幹部分占整個長度的一半左右。
(2)從顔色上看，鳳爪色澤绛紅，深淺程度基本一緻，掌心部分偏暗紅。
以上分析，作為待識别的鳳爪，雖然是不規則形狀，但無論從顔色還是形狀上，都能保持一個較穩定的特性，是以在編寫算法程式中，可通過數組記錄圖像的每行像素值黑白邊界跳躍次數，以此提取流水線上加工食品特征，并根據不同食品特征要求通過周遊特征數組及測量算法作判别，按照判别結果啟動分揀開關将食品歸入不同的箱中。
4 結論
本文針對食品流水線上的圖像外觀辨識問題進行了分析與解決方案的提出，利用圖像測量的方法對不規則食品進行特征提取，并采用ARM+FPGA結構的實時圖像處理平台以及光電開關的結合，使系統小型化，利于後期進一步開發、成本降低，便于針對特定應用定制等優勢、具有較高的工程應用參考價值，流水線食品辨識系統擁有廣闊的應用空間。
參考文獻
[1].杜文略，劉建梁，沈三民等.基于FPGA的運動目标檢測系統設計[J].電子技術應用,2014,40(11):36-42.
[2].張震.基于FPGA的USB3.0高速圖像采集系統設計與圖像特征提取算法研究[D].西安電子科技大學開發闆的攝像頭采集與處理系統實驗設計與實作[J].計算機教育，2018(4):23-26.
[3].何賓，張豔輝.Xilinx Zynq-7000嵌入式系統設計與實作[M].北京：電子工業出版社.2016.
[4].吳長冶.食品(蝦仁)分揀系統中的圖像處理算法的研究[D].南京理工大學.2012.
[5].李明.運動食品機器視覺的識别與定位技術的研究[D].哈爾濱商業大學.2014.
[6].胡健.基于Zynq的智能相機圖像處理流水線程式優化與實作[J].通信設計與應用.2017(10):3-4.
作者簡介
王明全（1973-），男，博士，講師，主要研究方向：信号與資訊處理.
本文來源于科技期刊《電子産品世界》2019年第6期第41頁，歡迎您寫論文時引用，并注明出處