基于内容的图像检索系统常用特征简介

1.前言

        基于内容的图像检索（Content Based Image Retrieval, CBIR）是一项从图像数据库中找出与检索式内容相似的图像的检索技术。它利用从图像中自动抽取出来的图像特征，如颜色、纹理、轮廓和形状等特征，进行计算和比较，检索出符合用户需求的结果图像集，且其检索结果可以借鉴文本检索技术中的相关反馈技术得到优化提高。目前图像检索系统技术实现的基础是对底层图像特征信息的计算和比较，也即是“视觉相似”。

        CBIR的核心是使用图像的可视特征对图像进行检索。本质上讲，它是一种近似匹配技术，融合了计算机视觉、图像处理、图像理解和数据库等多个领域的技术成果，其中的特征提取和索引的建立可由计算机自动完成，避免了人工描述的主观性。用户检索的过程一般是提供一个样例图像(Queryby Example) 或描绘一幅草图(Queryby Sketch)，系统抽取该查询图像的特征，然后与数据库中的特征进行比较，并将与查询特征相似的图像返回给用户。CBIR的实现依赖于两个关键技术的解决：图像特征提取和匹配。本文主要介绍目前CBIR系统中常用的三种视觉特征：颜色、纹理和形状。

2.颜色特征

       颜色是物体表面的一种视觉特性，每种物体都有其特有的颜色特征，比如人们一提到绿色往往联想到树木或草原，提到蓝色往往想到大海或蓝天，同一类物体往往有着相似的颜色特征，因此我们可以根据颜色特征来区分物体。一般采用直方图来描述颜色特征，直方图描述的是不同颜色的像素在整幅图像中所占的比例，也可以理解为颜色直方图统计图像中每种颜色出现的概率，然后对颜色之间的距离采用直方图相交的方法来度量每个颜色直方图之间的相似性，进而进行排序实现图像检索的功能。后续又在颜色直方图的基础上衍生出累加颜色直方图、颜色矩（一般取前三阶矩）、颜色相关图等颜色特征来进行图像检索，这里不再一一进行说明。从上面的介绍中可以看出颜色特征主要考虑各种颜色的比例分布，但这些算法并未考虑人眼对分布于不同空间的、比例相同的颜色的感受差异，例如：某一包装盒的表面由于是亮面的，当在强光照射下，部分区域如图中用红色标记的区域很难分辨出其真正的颜色，进而也就导致在计算颜色直方图等统计特征时出现偏差，进而导致检索结果不准确，同时颜色特征这种统计特征并不能确切的给出查询图像是什么具体的物体，只能给出具有相同颜色分布的图像，因此常常用来作为检索系统中进行初级检索的特征。

3.纹理特征

       纹理特征主要描述的是图像像素灰度集或颜色的某种规律性变化。基于纹理的检索通常可以分为统计方法和结构方法两种。

       统计方法主要根据图像像素间灰度的统计性质确定纹理特征以及特征与参数间的关系，目前比较常用的是Tmaura等人提出的基于人类对于纹理的视觉感知和认知的纹理特征模型，比较常用到的特征有粗糙度、对比度、方向度、线像度、规整度和粗略度，其中尤以粗糙度、对比度和方向度应用较为广泛。统计方法主要用来分析像木纹、沙地、草坪等细致而不规则的物体。

       结构方法主要是根据纹理基元及其排列规则来描述纹理特征。结构方法是将图像中非常具有结构规律的特征加以分析。适于像布料或砖瓦等一类元素组成的纹理以及排列比较规则的物体的检索。

4.形状特征

       形状特征是描述图像内容的另一个重要特征，是计算机视觉和模式识别研究的一个基本问题，目前用于图像检索的形状描述方法主要有两类：基于边缘和基于区域的形状方法。前者是建立在准确的边缘检测的基础上，用面积、周长、偏心率、角点、链码、兴趣点、傅里叶描述子、矩描述子等特征来描述物体的形状，适用于图像边缘较为清晰、容易获取的图像；基于区域的形状特征提取的主要思路是通过图像分割技术提取出图像中感兴趣的物体，依靠区域内像素的颜色分布信息提取图像特征，适合于区域能够较为准确地分割出来、区域内颜色分布较为均匀的图像。该方法主要难点在于如何高效率准确的将图像的人们感兴趣的目标分割出来，这也是学术界目前研究的热点之一。

       形状通常与图像中的特定目标对象有关，因此形状特征是比颜色特征和纹理特征更高一层的特征，而且对形状的表达比对颜色和纹理的表达从本质上要复杂的多，要获得目标的形状参数，首先要进行图像分割/边缘提取，所以形状特征的提取会受到图像分割/边缘提取效果的影响，在没有相关领域的知识下,自动的分割/边缘提取方法很难将相应的目标区域准确的提取出来，另外更加重要的是目前描述目标的形状也是一个非常复杂的问题，人对形状的感觉是视网膜感受和现实世界的知识相结合的结果，目前还不存在一种有效的与人的主观感觉相一致形状模型，除此之外从不同视角获得的图像中的目标形状可能会有很大差别，为了准确进行形状匹配，需要保证所提取的形状特征不受图像平移、缩放、旋转等变换的影响，这无形中也增加了对形状进行有效描述的难度，基于上述几条原因，目前基于形状特征的图像检索技术还不是特别成熟。

5.总结

       上面主要对业界通用的图像检索系统所采用的特征进行了重点描述，这些特征有一个共同的特点就是提取速度快，图像检索的输出是一系列按照相似性从大到小进行排序的TopN个图像，通过对一些图像检索引擎的测试，就会发现其检索的成功率并不是特别理想，可想而知如果想要精确检测出目标（Top1），使用上面介绍的几种特征显然是不可行的，通常可以考虑利用局部特征中性能比较好的SIFT算法来进行检索，但引入的另外一个问题就是其提取的速度过慢，目前看来只能针对参考图像数目较少的图像检索系统，如何在保证检索性能的基础上提高其特征提取速度也是一个比较值得深入研究的课题。而且无论是颜色、纹理、形状甚至于SIFT特征都没有考虑到图像中的一个重要信息——空间分布，如何将这种空间分布关系融合到现有的几种特征也是一个值得深入研究的课题。