论文笔记 -《Machine vision technology for detecting the external defects of fruits - a review》

Content

• 1 文章背景
• 2 摘要内容
• 3 段落主旨
• • 3.1 Introduction
  • 3.2 Defect detection using image two dimensional information
  • • 3.2.1 Color imaging
    • 3.2.2 Monochrome imaging
    • 3.2.3 Integrating colour imaging and monochrome imaging
  • 3.3 Defect detection using image threedimensional (3D) information
  • 3.4 Hyperspectral and multispectral imaging
  • • 3.4.1 Bruises
    • 3.4.2 Chilling injury
    • 3.4.3 Pathogen infections
    • 3.4.4 Contamination
    • 3.4.5 Fluorescence imaging
  • 3.5 Advantages and disadvantages
  • 3.6 Conclusions

1 文章背景

1）题目/作者/发表时间/关键词

• Machine vision technology for detecting the external defects of fruits — a review
• J. B. Li, W. Q. Huang, C. J. Zhao
• 2015
• Fruits; Machine vision; Colour imaging; Monochrome imaging; Hyperspectral imaging; External defect

2）期刊 / ISSN

• MAGING SCIENCE JOURNA
• 1368-2199

3）分区/指标

• 中科院分区：
  • 4区（工程技术/成像科学与照相技术）
• JCR分区：
  • Q2（Computer Science / Computer Vision and Pattern Recognition）

4）IF3 / h-index / CiteScore：0.554 / 21 / 0.83

2 摘要内容

机器视觉具有精度高、速度快、自动化、无损和成本效益高等特点，因此被广泛用于多种行业。在农业上，机器视觉可用于水果的检测和分级。

在这篇文献中，回顾了当前主要的水果表面缺陷检测方法，包括基于水果二维信息成像、基于水果三维信息成像、高光谱成像和多光谱成像等方法。

虽然当前的多相机组合成像系统达到了行业对水果检测分级的精度和品质要去，但无法满足实时工作要求，需要继续降低系统对不同类型图片的处理时间以及合并分析。

3 段落主旨

3.1 Introduction

人工水果缺陷检测是一种劳动密集型工作方式，容易产生错误。利用机器视觉进行检测，可以在提升产品检测质量的同时，将人从这种体力劳动中解放出来。在农业里，水表表面缺陷不仅影响着水果的经济价值，而且可以预测水果的内部特点，比如含糖量。

3.2 Defect detection using image two dimensional information

3.2.1 Color imaging

颜色是水果重要的自然特征之一，大多数检测系统会利用这一特点分割水果图片。

1）Machine vision for non destructive evaluation of fruit quality（12）

作者/日期：Molto´等人/1995；

研究对象：桃子、橘子、苹果和梨；

结果：利用线性判别法将将像素分割为3或4类。

2） Machine vision inspection of Golde Delicious apples（13）

作者/日期：Heinemann等人/1995；

研究对象：苹果；

结果：利用判别函数对苹果分类，达到了82.5%的检测率。

3）

a） A real-time grading method of apples based on features extracted from defects（10）

作者/日期：Leemans等人/2004；

研究对象：苹果；

结果：利用2个强化步骤，将颜色高斯模型用于苹果缺陷分割上。该算法可以有效分割苹果的多种外部缺陷，但也显示出了一些噪声。

b）Defects segmentatio on Golden Deliciousapples by using colour machine vision（14）

作者/日期：Leemans等人/1998；

研究对象：苹果；

结果：

• 使用成像质量更好的3CCD相机去检测苹果外表皮缺陷。提出了一种基于贝叶斯判别分析的像素分割方法。用健康表皮和缺陷表皮的色频分布去估计每类表皮缺陷的分布。
• 使用照明管、扩散器和反射器提供均匀的光照。

c）Defect segmentatio on ‘Jonagold’ apples using colour vision and a Bayesian classification method（15）

作者/日期：Leemans等人/1999；

研究对象：苹果；

结果：将二次判别分析法用于苹果的分类，但检测效果不行。

4）Application of neural networks to the color grading of apples（16）

作者/日期： Nakano等人/1997；

研究对象：苹果；

结果：将神经网络用于苹果分级，并取得了好的检测结果。

5）Comparison of three algorithms in the classification of table olive by means of computer vision（17）

作者/日期： Diaz等人/2004；

研究对象：橄榄；

结果：将三种不同的算法用于橄榄的分级，其中，具有隐藏层的神经网络准确度超过90%，偏最小二乘法法和马氏距离法仅仅超过70%。

6）Application of image analysis fo classification of ripening bananas（18）

作者/日期：Mendoza等人/2004；

研究对象：香蕉；

结果：利用简单判别分析技术，并基于香蕉颜色、棕色斑点发展和图片纹理信息，计算机详细系统成功识别了49根香蕉所处的不同阶段，准确率达到90%。

7）Classification of grapefruit peel diseases using colour textur feature analysis（19）

作者/日期：Kim等人/2009；

研究对象：西柚；

结果：提出了基于HIS模型的14个西柚皮缺陷纹理特征。

虽然上述算法可以有效的将水果分类，但这些算法需要学习如何将不同区域和像素颜色联系起来。也就是说，这些算法需要一个有效的训练分类器，另外，为了适应水果季节性的颜色变化，算法训练需要贯穿始终。

最近，一个新的基于无监督技术的面向区域图片分割算法被提出。该算法不需要先前的以适应不同批次水果和光照条件为目的的训练和调整，见下面第“ 8）”条。

8）Computer vision detection of peel defects in citrus by means of a region oriented segmentation algorithm（22）

作者/日期：Blasco等人/2007；

研究对象：柑橘；

结果：利用无监督技术检测2294张柑橘图片的缺陷和果梗部位，分割成功率达到94%。

9）Automatic detection of skin defects in citrus fruits using a multivariate image analysis approach（23）

作者/日期：Lo´pez-Garcı´a等人/2010；

研究对象：柑橘；

结果：提出了一种基于无监督多元图像分析策略（具体流程见下图）和主成成分分析方法的柑橘表面缺陷检测算法，各项缺陷检测的准确率达到91.5%。

10）Automatic detection of common surface defects on oranges using combined lighting transform and image ratio methods（24）

作者/日期：Li等人/2010；

研究对象：橘子；

结果：结合照明变换和镜像比法，利用RGB成像技术去检测柑橘的常见表面缺陷。对于720张独立的样图，达到了98.9%的缺陷检测率。

3.2.2 Monochrome imaging

因为传统的彩色相机主要用于再现人类的视觉，所以它们不能很好地识别对RGB以外波段敏感的缺陷。考虑到这一点，在某些缺陷的识别上，可以使用基于不可见光的单目CCD相机，尤其是基于近红外波段。

1）Machine vision methods for defect sorting stonefruit（26）

作者/日期：Nimesh等人/1994；

研究对象：石果；

结果：第一次使用单色相机来自动化水果和蔬菜的分级过程。作者将带有近红外波段滤波器的单目相机捕捉石果的图像，以检测和识别他们的主要缺陷。机器预测和人工测量瘀伤和疤痕区域的相关系数分别为0. 75和0.72。

2）Building a rule-based machine-vision system for defect inspection on apple sorting and packing lines（27）

作者/日期：Wen and Tao等人/1999；

研究对象：苹果；

结果：将带有700 nm长波滤波器的近红外单目CCD相机系统用于水果缺陷的检测。在960张苹果样图上测试分类效果。通过设定合适的参数可以实现对苹果缺陷的高识别率。

3）Computer vision based system for apple surface defect detection（28）

作者/日期：Li等人/2002；

研究对象：苹果；

结果：使用分形特征和人工神经网络将茎端和花萼从缺陷中分离出来。就茎端和花萼的识别而言，神经网络模型对40个苹果样品的识别准确率达到93%。

4）Identifying defects in images of rotating apples（29）

作者/日期：Bennedsen等人/2005；

研究对象：苹果；

结果：我们使用了基于单色相机和两个分别在740 nm和950 nm的光学滤镜的实验机器视觉系统来识别苹果上包括瘀伤在内的表面缺陷。该图像系统会在苹果于镜头前旋转360°的同时捕捉六幅图像。结果表明，包括瘀伤在内的缺陷对740 nm处的图像敏感，而只有瘀伤对950 nm处的图像敏感，如下图所示。（使用两个波段的滤光器和苹果360°旋转获取的原始图像：740 nm滤波器捕获的是前六张图片，950 nm滤波器捕获的是下方的六张图片）

5）Stem and calyx recognition on ‘Jonagold’ apples by pattern recognition（30）

作者/日期： Unay and Gossenlin等人/2007；

研究对象：苹果；

结果：

• 比较了线性判别，最近邻，模糊最近邻和支持向量机分类器等方法的识别效果。支持向量机在所测试的分类算法中识别效果最好，通过使用选定的特征子集可以正确识别出99％的茎端和100％的花萼。
• 水果远处边缘的分割是有问题的，可能是因为该位置仍然存在的照明伪像。因此，可以侵蚀水果的外轮廓以减轻该问题。但这会导致检测质量下降，因为有时没有分析到水果表面的重要部位。

在单色图像中，苹果图片是浅灰色的。图片的平均亮度由中心到边界逐渐下降。这通常使得图片边缘黑暗，而中心部分看起来更明亮。此外，变暗边缘甚至会导致健康组织区域经常被误认为是受损区域。因此，可以通过建立适当的照明系统来解决这个问题。

6）Defects segmentatio on Golden Deliciousapples by using colour machine vision（14）

作者/日期：Leemans等人/1998；

研究对象：苹果；

结果：

• 使用照明管、扩散器和反射器提供均匀的光照；
• 使用成像质量更好的3CCD相机去检测苹果外表皮缺陷。提出了一种基于贝叶斯判别分析的像素分割方法。用健康表皮和缺陷表皮的色频分布去估计每类表皮缺陷的分布。

7）Development of a multi-spectral vision system for the detection of defects on apples（32）

作者/日期：Kleynen等人/2005；

研究对象：苹果；

结果 ：设计了一个包括两个光源的照明隧道以检测苹果缺陷。

一般来说，一个有效的光照系统可以准确识别出图片边缘的健康部分和图片中心的缺陷部分。然而，水果的许多自然变化，如大小、形状、质地和颜色等，导致我们难以建立一个在任何条件下对任何水果都有效的通用照明系统。另外，由于机械、空间或成本等原因，不能继续优化照明系统。

8）Stem and calyx recognition on ‘Jonagold’ apples by pattern recognition（30）

作者/日期： Unay and Gossenlin等人/2007；

研究对象：苹果；

结果：

• 水果远处边缘的分割是有问题的，可能是因为该位置仍然存在的照明伪像。因此，可以侵蚀水果的外轮廓以减轻该问题。但这会导致检测质量下降，因为有时没有分析到水果表面的重要部位。
• 比较了线性判别，最近邻，模糊最近邻和支持向量机分类器等方法的识别效果。支持向量机在所测试的分类算法中识别效果最好，通过使用选定的特征子集可以正确识别出99％的茎端和100％的花萼。

9）Background and external defects segmentation of navel orange based on mask and edge gray value compensation algorithm（33）

作者/日期：Li等人/2009；

研究对象：脐橙；

结果 ：作者认为缺陷部位的错误分割是由球形水果的低边缘灰度值造成的，因此提出了一种快速水果图像边缘灰度值补充算法。

研究两个及以上RGB通道的关系可以减轻照明不均匀的影响，因此大多数检测系统只使用颜色特征来分割缺陷。另外，单色成像可以更有效地检测对RGB以外波段敏感的某些缺陷。

3.2.3 Integrating colour imaging and monochrome imaging

为了更有效的确定缺陷，研究人员提出了结合多种相机检测的方法。

1）A fast identification method for fruit surface defect based on fractal characters（34）

作者/日期：Li and Wang等人/2000；

研究对象：水果；

结果：使用三个CCD相机，一个彩色CCD相机和两个具有560 nm干涉滤波片的单色CCD相机来检测水果缺陷。

2）Multispectral inspection of citrus in real-time using machine vision and digital signal processors（5）

作者/日期：Aleixos等人/2002；

研究对象：柠檬和柑子；

结果：使用由一个提供RGB信息的彩色CCD和一个提供NIR信息的单色CCD组成的相机系统，以及两个数字信号处理器来识别水果的外部缺陷，其中，柠檬和桔子的识别准确度分别为93％和94％；

3）Dual-camera NIR/MIR imaging for stemend/calyx identification in apple defect sorting（4）

作者/日期：Wen and Tao等人/2000；

研究对象：苹果；

结果：波长范围从700至1000 nm的近红外摄像机对苹果的茎端/花萼和真实缺陷敏感，而波长范围从3.4至5 um或者从8至12 um的中红外摄像机仅对茎端/花萼敏感。基于这一事实，开发了一种结合近红外和中红外相机的系统，对茎端的识别率达到98.86％，对萼片的识别率达到99.34％。成像系统和检测结果如下图所示。（图1，用于自动识别和分离苹果缺陷和茎梗/花萼的机器视觉系统的示意图；图2，成功识别出右上角苹果的瘀伤缺陷和右下角苹果的疤痕缺陷，具体如下：a-传送带上苹果的MIR图像； b-从MIR图像中提取茎端/花萼的图像； c-图3b的茎端/花萼的改良的MIR图像； d-传送带上的苹果的NIR图像； e-缺陷和茎端/花萼的近红外图像； f-通过图3c和e的比较获得的真实缺陷的图像。）

4）NIR/MIR dual-sensor machine vision system for online apple stem-end/calyx recognition（35）

作者/日期：Cheng等人/2003；

研究对象：苹果；

结果：提出使用基于像素灰度相似度的相同系统（文中文献4提到的系统）来检测苹果上的茎端/花萼。欧氏距离用于评估茎/花萼和缺陷之间的相似性。茎/花萼的识别率分别为94％和92％。但检查精度可能会受到试样表面温度分布的影响。尽管该策略有效，但相机的成本（作者未讨论）是该方法实际实施的重要问题。

5）

a）Citrus sorting by identification of the most common defects using multispectral computer vision（36）

作者/日期：Blasco等人/2007；

研究对象：柑橘类水果；

结果：研究人员使用近红外，紫外线和彩色图像采集系统来鉴定柑橘类水果的最常见缺陷，发现每种类型的缺陷仅对特殊系统敏感。（下图显示了摄像头和灯具位置的视觉系统方案图。从左至右显示了紫外线图像采集系统，彩色图像采集系统和近红外图像采集系统）

b）Recognition and classification of external skin damage in citrus fruits using multispectral data and morphological features（37）

作者/日期：Blasco等人/2009；

研究对象：柑橘类水果；

结果：为了区分11种柑橘类水果的缺陷，作者提出了一种将可见信息和不可见信息与形态特征相结合的柑橘分选算法，对2000多个柑橘类水果样品的检测成功率为86％。

6）Detection of surface defects on fruits using spherical intensity transformation（38）

作者/日期：Huang等人/2012：

研究对象：苹果；

结果：使用双CCD摄像机检测并提出了苹果缺陷检测算法。近红外CCD图像用于去除目标图像的背景，RGB CCD图像用于开发缺陷检测算法。

3.3 Defect detection using image threedimensional (3D) information

通常很难通过二维形状特性或强度特性（例如由于外观相似而导致的均值，方差和梯度）来区分茎/花萼和某些缺陷。但是，水果上的茎/花萼区域具有独特的3D几何形状，这些形状可用于区分上述部位。因此，一些研究人员使用3D信息来区分茎/花萼和缺陷。

1）Apple stem and calyx identification with machine vision（39）

作者/日期：Yang等人/1996；

研究对象：苹果；

结果：描述了一种基于结构光的表面形状信息来查找茎/花萼的方法。在这项研究中，一组均匀间隔的平行光条纹同时投射到苹果表面上。苹果凸面上的条纹具有平行图案。然而，茎和花萼区域周围的凹面，条纹的外观受到干扰，条纹并不总是平行的。基于这种干扰，可以区分茎/花萼和缺陷，如下图所示。（结构光图像：a-苹果上有光条纹的图像； b-分割的光条纹）

2）Real-time defect detection in fruit：Part I：Design concepts and development of prototype hardware（40）

作者/日期： Crowe and Delwiche等人/1996：

研究对象：苹果；

结果：与文中文献39类似。

3）Apparatus & method for inspecting articles such as agricultural produce（41）（专利）

作者/日期：Blit等人/1996：

研究对象：检验物品；

结果：如果叠加在茎端和花萼等位置上等的栅格照明线的曲率具有相对急剧的变化，则将这些位置确定为推定的茎或花萼位置。

在自动检测中使用结构光会存在一些障碍。由于加工线上水果移动的随机性，很难检测到水果表面上照明图案的变形并获得异常的图像图案，尤其是在检测区域中扫描多个苹果。最近，很少有关于使用结构光技术区分茎/花萼和缺陷的报道。

4）Study on identifying measurement about default of fruit in computer vision（42）

作者/日期： Feng and Wang等人/2002：

研究对象：苹果；

结果：将傅里叶变换用于识别缺陷和茎/花萼，并在100个苹果样品上进行了测试，其准确性达到 90％。.

5）

a）3D surface reconstruction of apples from 2D NIR images（43）

作者/日期：Zhu等人/2005：

研究对象：苹果；

结果：为了开发更有效的方法来识别缺陷的茎/花萼，根据苹果的3D深度信息不同，重建了苹果的3D表面，如下图所示。使用 The Lambertian model 评估水果表面的反射率图，然后 Pentland’s Shape-From-Shading method 被用于基于快速傅立叶变换的苹果3D表面信息重构。（苹果3D表面重建：a-具有茎和缺陷的苹果； b-具有花萼和缺陷的苹果）

b）Three-dimensional shape enhanced transform for automatic apple stem-end/calyx identification（44）

作者/日期： Zhu等人/2007；

研究对象：苹果；

结果：提出了一种3D形状增强变换方法。该方法可以根据茎/花萼与水果表面区域之间的3D表面梯度差异来增加水果茎/花萼的面积。总共对203个苹果图像进行了测试，准确性高达93.97％。

c）Automated 3D surface reconstruction and analysis of apple near-infrared data for the application of apple stem-end/calyx identification（45）

作者/日期：Zhu等人/2007：

研究对象：苹果；

结果：为了提高检测效率，作者提出了3D二次面模型拟合方法。 在这项研究中检查了233个苹果图像， 检出率在90％以上。

3.4 Hyperspectral and multispectral imaging

高光谱成像是一种新兴的技术，它将常规成像技术和光谱学技术相结合，同时从目标获取空间信息和光谱信息。

反射成像是高光谱或多光谱成像的最常见模式。反射成像通常在可见光-近红外(400-1000 nm)或(900-1700 nm)范围内进行，已用于检测水果的瘀伤、冷害、污染物和病原体感染等缺陷。

3.4.1 Bruises

瘀伤是水果表面最为常见的缺陷之一。但即使是目前最为先进的商用水果分类机器，也无法识别瘀伤等细微缺陷。

1）Detection of bruises on apples using near-infrared hyperspectral imaging（49）

作者/日期：Lu等人/2003；

研究对象：苹果；

结果：利用频域在900到1700 nm之间的近红外高光谱对瘀伤后的苹果进行成像，获得它们在瘀伤后47天内的图像。结果显示该成像系统可以检测新瘀伤和旧瘀伤，其中，Red Delicious的检测准确率为62%至88%，Golden Delicious的检测准确率为59%至94%，最合适频谱区间是1000至1340 nm；

2）

a）Bruise detection on ‘Jonagold’ apples using hyperspectral imaging（48）

作者/日期： Xing等人/2005：

研究对象：苹果；

结果：使用频域在400至1000 nm的高光谱成像系统检测Jonagold 苹果的瘀伤。在所选样本中，好苹果的识别率为84.6%，1天内产生的新瘀伤苹果识别率为77.5%。

b）Detecting bruises on Golden Deliciousapples using hyperspectral imaging with multiple wavebands（47）

作者/日期： Xing等人/2005：

研究对象：苹果；

结果：使用文献48中同样的检测系统检测Golden Delicious苹果，达到了86%的识别率。

上述所有系统都可以检测发生在24小时后的瘀伤。但如果瘀伤出现在早期(小于12小时)，在这个阶段中，瘀伤与其周围区域之间的边缘通常不清楚，检测会出现问题。

3）Early detection of apple bruises on different background colors using hyperspectral imaging（50）

作者/日期：ElMasry等人/2008；

研究对象：苹果；

结果：为解决12小时内新产生的瘀伤无法检测的问题，作者首先采用偏最小二乘法和逐步判别分析相结合的方法进行数据降维和有效波长的选择。选择近红外区的三个有效波长(750、820和960 nm)进行多光谱成像测试。分类结果表明，瘀伤苹果与正常苹果能够成功地区分开来。该系统对形成在1h后的瘀伤具有更好的检测效果。

4）Detecting subtle bruises on fruits with hyperspectral imaging（51）

作者/日期：Zhao等人/2008；

研究对象：苹果；

结果：作者使用高光谱成像检测苹果细微瘀伤，利用主成成分分析法选择了547 nm的光谱。然后采用合适的图像处理方法提取瘀伤特征，达到了88.57%的准确率。

3.4.2 Chilling injury

冷害在过去几年是工业界中最常见的缺陷之一。因为在低温下保存的冷害水果，通常看起来都是健康的，因此水果冷害缺陷的早期检测是相当困难的。最近，少数研究人员利用高光谱成像来识别这一缺陷。

1）Detecting chilling injury in Red Delicious apple using hyperspectral imaging and neural networks（54）

作者/日期：ElMask等人/2009；

研究对象：苹果；

结果：使用高光谱反射成像系统检测Red Delicious苹果的冷冻伤害。利用前馈反向传播神经网络模型选择最优的波段，实现了98.4%的识别率。

3.4.3 Pathogen infections

在柑橘包装厂中，真菌感染的早期检测尤为重要，因为极少数受感染的水果可以将感染传播到整个批次，从而造成巨大的经济损失。柑橘包装厂最严重的收获后损害是由青霉菌造成的。但使用标准人工视觉系统或标准RGB相机很难检测到。

备注：病原体（pathogens）是指可造成人或动植物感染疾病的微生物（包括细菌、病毒、立克次氏体、真菌）、寄生虫或其他媒介（微生物重组体包括杂交体或突变体）。

1）Hyperspectral computer vision system for the detection of Penicillium digitatum in citrus packing

lines（56）

作者/日期：Go´mez-Sanchis等人/2004；

研究对象：柑橘；

结果：为了解决人眼难以观察到水果病菌感染的问题，作者使用可见光-近红外高光谱成像系统去检测由绿霉菌（Penicillium digitatum）导致的柑橘类水果感染，以使病菌伤害在人眼可见前将它们检测出来。利用主成成分分析的方法减少检测波段数，利用分类和回归树将80%的图片进行了正确分类。图像分割依赖于有效波段选择技术和像素分类方法的结合。最终，水果腐烂的识别率达到了91%以上。

2）** Development of algorithms for detecting citrus canker based on hyperspectral reflectance imaging**（57）

作者/日期：Li等人/2012；

研究对象：桔子；

结果：作者使用高光谱成像技术检测桔子的溃疡病（canker），提出了基于主成成分分析法和波段比（Q687/630）的方法，在训练集和测试集上分别实现了99.5%和84.5%的准确率。

3）Hyperspectral LCTF-based system for classification of decay in mandarins caused by Penicillium digitatum and Penicillium italicum using the most relevant bands and nonlinear classifiers（58）

作者/日期：Go´mez-Sanchis等人/2013；

研究对象：柑橘；

结果：作者使用高光谱成像技术识别腐柑（ the rotten mandarins），提出了新的特征选择方法以降低高光谱图像的维度，并获得了最多10个相关特征。神经网络被用于图像的分割。根据决策树获得的结果表明，在衰减分类问题中，其准确性约为93％。

3.4.4 Contamination

在生长和收获阶段，水果暴露于粪便中可能会导致水果产品被细菌食源性病原体污染。动物粪便是致病性大肠杆菌O157:H7污染的最可能来源。此外，污染的可能性随着水果的物理损伤(如瘀伤)而增加。清洁可以减少污染物，但不可能消除污染物。因此，水果采摘后，研究其预处理阶段的污染检测技术具有重要意义。

1）

a）Development of hyperspectral imaging technique for the detection of apple surface defects and contaminations（59）

作者/日期：Mehl 等人/2004；

b）Hyperspectral reflectance and fluorescence imaging system for food safety and quality（62）

作者/日期：Kim 等人/2001；

研究对象：苹果；

结果：比较了Red Delicious，Golden Delicious，Gala and Fuji apples 表面缺陷和污染物检测的各种图像分析方法。结果表明，非对称二次差分法是一种易于实现的多光谱成像技术。

2）Systemati approach for using hyperspectral imaging data to develop multispectral imagining systems: detection of feces on apples（63）

作者/日期：Lefcout等人/2006；

研究对象：苹果；

结果：作者试图开发基于来自高光谱成像关键波段的多光谱成像系统来检测苹果上的粪便。

3）Development of simple algorithms for the detection of fecal contaminants on apples from visible/near-infrared hyperspectral reflectance imaging（60）

作者/日期：Liu 等人/2007；

研究对象：苹果；

结果：采集了Red Delicious和Golden Delicious苹果经三种不同浓度粪便处理后的高光谱反射图像。比较了双波段比(Q725/557)算法、双波段比(Q725/811)算法、三波段比算法、非对称二次差分法和the first PC波段对两个品种苹果粪便污染图像的识别效果，结果表明双波段比(Q725/811)算法对粪便污染皮肤的识别效果最好。图8和图9分别显示了本研究中应用的四种不同算法处理样本苹果图像的结果。

4）Detecting pesticide residue on navel orange surface by using hyperspectral imaging（64）

作者/日期：Xue 等人/2009；

研究对象：桔子；

结果：作者展示了高光谱成像在检测水果农药残留污染方面的潜在应用。通过主成分分析得到特征波长图像。然后，对第三主成分图像进行处理，检测脐橙上的农药残留。本研究表明，高光谱成像技术可以有效地检测水果表面的农药残留。

3.4.5 Fluorescence imaging

大多数水果外观缺陷检测的研究都涉及反射成像。一种可替代反射成像的检查技术是荧光成像，它可以用来检测不可见的损伤。

1）**Multispectral detection of fecal contamination on apple based on hyperspectral imagery: Part II. Application of hyperspectral fluorescence imaging **（65）

作者/日期：Kim等人/2002；

研究对象：苹果；

结果：开发了一种多光谱激光诱导荧光成像系统，根据高光谱荧光成像系统确定的最佳波长，检测苹果上的粪便污染。图10显示了包括关键部件的系统原理图。荧光成像结果表明，即使是肉眼看不清的微小动物粪便也能被系统检测到。

2）

a）Integrating reflectance and fluorescence imaging for apple disorder classification（66）

作者/日期：Ariana等人/2003；

b）Integrating reflectance and fluorescence imaging for apple disorder classification（67）

作者/日期：Ariana等人/2004；

研究对象：苹果；

结果：作者将多光谱成像分别在反射和荧光模式下结合神经网络分析对苹果病害的各种类型进行分类。研究了三种不同的成像模式(反射式、可见光诱导荧光和紫外光诱导荧光)。结果表明，荧光模式具有较高的分类精度。

3）Detection of fecal contamination on cantaloupes using hyperspectral fluorescence

imagery（68）

作者/日期：Vargas等人/2005；

研究对象：哈密瓜；

结果：用多光谱荧光图像来评估检测哈密瓜上动物粪便污染的可能性。结果表明，680 nm处的荧光图像显示出最大的对比度，这种对比度可以通过图像的比例来提高。

4）Detection of fecal contamination in apple calyx by multispectral laser-induced fluorescence（69）

作者/日期：Lefcourt等人/2005；

研究对象：苹果；

结果：用多光谱荧光图像来检测苹果花萼中奶牛粪便的污染情况。结果表明，粪便稀释度为1:20的检测准确率达到100%，但当稀释度达到1:200时，检测结果较差。

5）Hyperspectral reflectance and fluorescence line-scan imaging for online defect and fecal contamination inspection of apples（70）

作者/日期：Kim等人/2007；

研究对象：苹果；

结果：为解决文献69中因粪便浓度稀释过低，使得检测结果较差的问题，作者开发了一种与商用苹果分拣机集成的快速高光谱线扫描成像系统。示意图如下图11所示。为了进行实时试验，从以每秒3个苹果的处理分选线速度移动的样品中采集了30个400-700 nm连续光谱通道的高光谱荧光图像。基于荧光多光谱图像比值法，实现了100%的检测准确率。

6）Application of hyperspectral fluorescence image technology in detection of early

rotten oranges（71）

作者/日期：Li 等人/2012；

研究对象：桔子；

结果：使用高光谱荧光成像技术检测橙子的早期腐烂。采用最佳指数因子法确定最佳波段组合，并利用最优波段比图像和两个阈值的实现100%的检测率。

7）Detection of cuticle defects on cherry tomatoes using hyperspectral fluorescence imagery（72）

作者/日期：Cho等人/2013；

研究对象：樱桃番茄；

结果：提出了一种用于无损检测有缺陷的樱桃西红柿的高光谱荧光成像技术。采用简单方差分类分析和主成分分析法研究了最佳荧光波段。结果表明，基于方差分析结果选择的一对波段与高光谱荧光图像线性组合，能够以大于99%的准确率检测樱桃番茄缺陷。

3.5 Advantages and disadvantages

如果人眼可以观察到水果的缺陷表面，也就是说该类缺陷对红绿蓝波段敏感，则该类缺陷可以采用彩色（RGB）成像技术。

如果某缺陷对红绿蓝以外的波段敏感，可是使用带有相应波段滤波器的单色成像技术。

为了更有效的检测缺陷表面，可以采用结合彩色成像和单色成像的组合成像技术进行检测。

为了解决水果缺陷和果茎/果萼不易区分的问题，可以采用三维信息成像技术。利用该技术可以获得更为精细的图像信息，但因为硬件成本和算法复杂度等问题，会使得检测花费更多的时间。

高光谱成像技术作为一项新兴技术，虽然可以检测到彩色成像等技术无法检测到的缺陷，但存在系统成本高，图像采集和处理时间长等缺点。

当前研究一般用该项技术确定冷冻或瘀伤等缺陷的最佳检测波长，然后将识别出的关键波段用于开发低成本、快速有效的多光谱成像系统或单色成像系统。

3.6 Conclusions

通过开发多相机组合系统，可以提高水果表面检测的质量和精度。但组合系统不满足实时性要求，需要继续减少对不同类型图片的处理时间和合并分析。

由于相机安装位置的不同，对同一个物体，其视场也是不同的。因此不同相机获得的图片需要匹配分析。

水果属于生物材料，因此，了解不同果皮区域光吸收特性的差异是非常重要的。

高光谱成像技术结合了光谱和成像的优点，在水果缺陷检测中有很多潜在的应用前景。但仍有一些关键问题需要进一步研究，包括高光谱降维、稳定特征波长的优化、图像采集和处理时间的缩短等。