|
|
摘要：图像检索是近年来海量信息处理面临的“瓶颈”。基于内容的检索最具有本质性，已经成为当前国内外研究的热点。图像检索技术的两大关键图像特征的提取和相似性度量。在人类视觉属性中，纹理作为基本的视觉特征之一，分布十分广泛。针对纹理的研究经历了相当长的时间，但对纹理的明确定义直至目前尚未出现，纹理应用于图像检索的时间也是相对短暂的。基于纹理特征的图像检索是基于内容的图像检索研究中的前沿技术。
关键字：图像检索 基于内容 前沿技术
Abstract: image retrieval in recent years is the mass information processing faces "bottleneck". Based on the content retrieval with most essential, has become the domestic and foreign research hotspot. Image retrieval technologies of two critical image feature extraction and similarity measure. In the human visual property, texture as a basic visual feature, was so widespread. Aiming at the texture of research experience for quite a long time, but the texture clearly defined until now has not appeared yet, texture applied to image retrieval time is relatively short. Based on texture feature of image retrieval is content-based image retrieval in studies of the frontier technologies.
Keywords: image retrieval based on content frontier technologies
1.引言
随着多媒体技术、计算机技术、通令技术以及Internet网络的迅速发展，图像成为了一种重要的信息资源。由于图像所包含的信息量远远超过文字，因此，如何有效、快速地从大规模图像数据中检索出所需的图像已成为一个研究的热点。从20世纪70年代开始，有关图像检索的研究就已开始，当时主要是基于文本的图像检索技术（Text-based Image Retrieval，简称TBIR），利用文本描述的方式描述图像的特征，如绘画作品的作者、年代、流派、尺寸等。到90年代以后，出现了对图像的内容语义，如图像的颜色、纹理、布局等进行分析和检索的图像检索技术，即基于内容的图像检索（Content-based Image Retrieval，简称CBIR）技术。CBIR属于基于内容检索（Content-based Retrieval，简称CBR）的一种，CBR中还包括对动态视频、音频等其它形式多媒体信息的检索技术。
在检索原理上，无论是基于文本的图像检索还是基于内容的图像检索，主要包括三方面：一方面对用户需求的分析和转化，形成可以检索索引数据库的提问；另一方面，收集和加工图像资源，提取特征，分析并进行标引，建立图像的索引数据库；最后一方面是根据相似度算法，计算用户提问与索引数据库中记录的相似度大小，提取出满足阈值的记录作为结果，按照相似度降序的方式输出。 为了进一步提高检索的准确性，许多系统结合相关反馈技术来收集用户对检索结果的反馈信息，这在CBIR中显得更为突出，因为CBIR实现的是逐步求精的图像检索过程，在同一次检索过程中需要不断地与用户进行交互。
2．图像检索方法的分类与发展
从图像检索发展的历程来看主要经历了两个阶段：基于文本的图像检索和基于内容的图像检索。传统的基于文本的图像检索技术是通过关键字或自由文本进行描述，查询操作是基于该图像的文本描述进行精确匹配或概率匹配。基于文本的图像检索方式简单、易于理解，但检索时要指明文本特征。由于人工注释图像的主观性和不准确性等弊端，因此这种传统的图像检索方法并不能满足用户的需要。相对于基于文本的图像检索技术来说，基于内容的图像检索实现了自动化、智能化的图像检索和管理，主要利用了图像中的一些可视化信息，如颜色、形状、纹理等信息作为检索的途径，从而提高了检索的效率和准确性．因此得到越来越多人的关注。
20世纪90年代以来，基于内容的图像检索技术得到了迅猛的发展，“以图找图”的特点引起人们的兴趣。以图像中包含的各类典型特征为客观检索对象，所用的图像特征分两类：一类为底层特征或物理特征．如颜色、纹理、形状等；另一类为高层特征或语义特征，即图像内容的语义描述以及各类物理特征之问的逻辑关系。目前基于内容的图像检索技术主要以图像底层特征的相似性匹配检索为主．辅助以图像语义特征。
2.1 基于颜色特征检索
从人类视觉角度来看，颜色特征是人类感知和区分不同物体的一种基本视觉特征。世界也因为有了颜色而显得多姿多彩。颜色是一种重要的视觉信息属性，相对于其他特征，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较强的鲁棒性 ，而且颜色特征计算简单，因此成为现有的检索系统中应用最广泛的特征。
利用颜色特征进行图像检索可以追溯到Swain和BallardE32提出的颜色直方图法。颜色直方图法的主要思想是根据相同颜色的像素个数在整幅图像中所占的比例，然后采用颜色直方图的交来度量两幅图像色彩的空间信息。颜色直方图计算简单，而且具有尺度、平移及旋转不变性。颜色直方图的主要缺点：它只包含了某一彩以出现的频数而丢失了像素所在的位置信息。任一幅图像都能唯一的给出一幅与它相对应的直方图，但不同的图像可能有相同的直方图，也就是说直方图与图像是一对多的关系，这显然与人的视觉感应不符，即误检率较高。
为了克服颜色直方图的缺陷，提出了许多改进方法。Pass等人提出了用图像的颜色聚合矢量CCV(color coherence vector)作为图像的颜色特征。其核心思想是当图像中颜色相似的像素所占据的连续区域的面积大于一定的阈值时，则该区域的像素为聚合像素，否则为非聚合像素。这样统计图像所包含的每种颜色的聚合像素和非聚合像素的比率就称为该图像的颜色聚合矢量，在检索过程中匹配目标图像的聚合矢量和检索图像的聚合矢量。聚合矢量的聚合信息在某种程度上保留了图像颜色的空间信息。Strickd和Orenges提出了累计颜色直方图方法，并提出了色彩矩的方法，主要对每种色彩分量的一阶、二阶和三阶矩进行统计。何恒等人提出了模糊直方图方法，将模糊理论应用到图像检索中。为了避免将两个相似的图像块归入不同的类别，而导致错误的比较。给出了一个图像块对于多个类别的隶属性，这样每一个图像块就可以以不同的隶属从属于不同的类别，因此，要进一步提高检索的精度及其实用性，在实际应用中应和其它检索方法相结合才会更有效。
2.2 基于纹理特征的检索
纹理是图像中一个重要而又难以描述的特征，很多图像的局部区域内可能呈现出不规则性，而在整体上却表现出某种规则性。习惯上把图像中这种局部不规则性而整体有规律的特性称之为纹理。即纹理特征是所有的图像所具有的内部特征，包括粗糙度、方向性、对比度以及规则性等。纹理特征适用于检索诸如水波、布匹、草坪等类别的图像，它包含了关于表面的结构安排以及周围环境的关系。
基于纹理特征检索的分析方法主要有两类：结构分析方法和统计分析方法。结构分析方法包括形态学算子、边界图等。对于纹理规则的图像采用结构分析方法是很有效的。统计分析方法通常在频率域和空间域上进行。在频率域上主要采用傅立叶级数变换和小波分析，而在空间域上主要采用Haralick等人提出的关于纹理的共生矩阵表示。“纹理的共生矩阵表示”方法建立在估计图像的二阶组合条件概率密度函数的基础上，是一种空间域方法L6]。该方法探索的是纹理的空间依赖关系，首先根据图像像素之间的方向和距离构造一个共生矩阵，然后从该矩阵中提取有意义的统计作为纹理表述。该方法的缺点是矩阵很大且含有大量的冗余信息。Tamura方法是纹理分析的另一主要方法。Tamura提出的纹理特征集很好的对应于人类的视觉感知，这些感知包括糙度、对比度、方向度和线像度、规整度和粗略度，因此Tamura法得到了广泛的应用。但Tamura方法是对整幅图像进行处理，效果不是很好。改进的方法是采用直方图。
2.3 基于形态特征的检索
形状特征是描述图像内容的另一个重要特征，也是计算机视觉和模式识别研究的一个基本问题。采用形状特征进行检索，用户可以通过勾勒图像的形状或轮廓，从图像库中检索出形状相似的图像。基于形状特征的检索有两种：一种是分割图像经过边缘提取后得到目标的轮廓线。针对这种轮廓线进行图像特征检索；另一种是基于图像的区域特征进行检索。
针对形状轮廓特征的描述方法主要有：边界直方图、链编码、曲率尺度空间、傅立叶描述符等，其中最典型的方法为傅立法描述符。它的基本思想是用物体边界的傅立叶交换作为形状描述．利用区域边界的封闭性和周期性将工作问题转化为一维问题，从而提高了检索的效率。针对区域特征的描述方法主要有形状的无关矩、区域的面积、形状的纵横比率 。对于基于形状的检索来说．形状的提取、描述及匹配都是重点要解决的问题。与基于颜色和纹理的检索方法相比较．基于形状的检索方法比较困难。
2.4 基本组合的多特征检索图像
内容具有各种视觉特征及视觉对象的空间关系等，而人在观察图像时也不只是观察一个特征，而是会同时看到图像的颜色、形状等多个组合特征。正如前面所提到的，不同的特征有不同的矢量表示方法，即使是同一特征，如颜色特征也有直方图特征、颜色矩、颜色集等多种特征表示方法。
在用单一特征进行检索时，可能出现非常相似两幅图，但在语义上相差很大。而采用组合特征检索法时可以在颜色、纹理、形状等几种查询特征中选择两种或两种以上的特征进行组合检索。基于多特征组合检索便于用户更灵活、更有效地表达检索要求，提高检索的准确率。该检索方法可分两种情况进行：一种是异步组合检索，另一种是同步组合检索。
2.4.1 异步组合检索
在异步组合检索中时，针对示例图像，首先采用一种主要特征(比如颜色)进行检索，按相似程度排序检索结果，然后从中挑选出新的示例图像，以另一种特征(如纹理或形状)在进行检索，直到满足检索要求。异步组合特征检索从本质上来看仍是单一特征检索。与单一特征检索不同的是，该方法在检索过程中，分别利用图像中不同特征的特点逐次进行相似性匹配，可逐步缩小检索空间，不断提高检索精度。
2.4.2 同步组合检索
在同步组合检索时，针对示例图像，首先人工设置组合特征的归一化初始权重比，根据此初值进行第一次检索，按相似程度排序检索结果，然后从中挑选出新的示例图像。重新人工设置组合特征的归一化权重比，再次进行检索，直到满足检索要求。
基于组合检索方法与单一特征的检索相比，可以提高检索精度。其缺点是检索精度调整和提高的过程是一个工人干预的过程，这过分依赖于人的主观判断，检索效率不高，不具有通用性。因此，针对同步组合检索方法，对检索过程中特征的归一化自动进行调整，提高了人机交互相关反馈检索方法。
基于反馈技术最初应用于传统的文本信息检索，1998年Rui Yong等人首次将相关反馈技术应用于基于内容的图像检索。在他们设计的MARS系统中，用户将检索条件交给系统，系统将检索结果显示给用户，用户再把检索的个人评判信息反馈给系统。人机交互相关反馈检索系统又经过一系列的反馈迭代，动态调整组合特征的归一化权重。由此决定检索过程中采用何种特征组合及如何分配特征之间的权值，达到逐步提高检索精度的目的，因此相关反馈技术应用于基于内容检索的研究逐渐受到人们的关注。
2.5 基于语义的图像检索
目前．基于内痞的图像检索主要只利用了图像的低层视觉特征(如颜色、纹理、形状)进行检索，为了克服基于简单视觉特征的图像检索方法的不足，人们提出了基于语义的图像检索方法。与基于低层的物理特征检索不同，语义特征检索是基于文字的查询，包含了自然语言处理和传统图像检索技术。
基于语义的图像检索需要解决两个方面的问题：一是必须提供高层语义的描述方式：二是必须有将低层图像视觉特征射到高层语义的方法m 。图像的视觉特征信息和用户视觉数据理解的不一致性，使得视觉底层特征和高层语义之间存在语义鸿沟。针对这一问题，许多学者进行了研究，Amoid将图像的知识作用域分为狭义域和广义域两类，Hermes等人使用了相似性技术直接从户外图像中推导场景的自然语言描述 ，Zhuang等人提出了模糊布尔模型、概率布尔模型。这些方法在不同的场合分别显示了它们在语义表达方面的能力。
基于语义的图像检索方法，它允许用户在检索过程中用主观感觉来描述图像，这对于检索者来说，可以提高检索效率和准确性。但是“语义鸿沟”的存在，使得基于语义的图像检索仍面临着很大挑战。
3.图像检索技术的发展方向
基于内容的图像检索技术是一种综合的集成技术，其研究涉及认知科学、人工智能、模式识别、图像处理、信息检索等多个领域。虽然对领域的诸多研究已经取得了很大进展，但仍存在很多不完善的地方．仍需进一步深入研究。基于内容的图像数据库把图像处理、图像识别、数据库三个领域的技术成果结合起来，是一个有前途的发展方向；面向网络的图像检索应得到深入的研究；人机交互和相关反馈已成为图像检索的研究热点。
参考文献（根据文中参阅和引用的先后次序按序编排）：
[1]向友军，谢胜刹．图像检索技术综述[J]．重庆邮电大学学报，2006，18(3)；348—354
[2]吴楠，宋方敏．一种基于高层语义信息的图像检索方法[J]．中国图像图形学报，2006，11(12)：1774—1780
[3]Niblack W., Barber R., Equitz W.,et al. The QBIC Project: Querying Images by Content Color, Texture, and shape[J]. SPIE, 1993,1908:173-187.
[4]Man junath B.S. Color and Texture Descriptors [J]. IEEE Trans. on Circuits & Systems for Video Technology, 2001,11(6):703-715.
[5]Smeulders A.W.M., Worring M., Santini S.,et al. Content-based Image Retrievals at the End of the Early Years[J].IEEE Trans. on Pattern Anal Intell,2000,22(12):1349-1380.
[6]袁昕,朱淼良.基于主色匹配的图像检索系统[J].计算机辅助设计与图形学学报,2000,12(12):917-920.
[7]胡必鑫.基于内容图像检索中颜色特征描述[J].计算机工程与应用,2005,41(16):48-50.
[8]孙君顶,武学东,周利华.基于颜色和形状的图像检索[J].计算机科学,2005,31(5):180-183.
[9]朱守业.基于多特征融合和ADABOOST算法的图像检索[J].计算机工程与应用,2007,43(36):137-140.
[10]秦文学,李宁.基于MPEG-7的多特征图像检索方法[J].北京机械工业学院学报,2007,22(4):29-36.
[11]陈蔚,肖国强.基于多特征的图像检索算法[J].计算机工程与设计,2008,29(17):4507-4467.
[12]罗军,况夯.基于内容的多特征融合图像检索[J].计算机工程与应用,2009,45(1):153-197.
[13]Rui Y，Huang T S，Ortega Met a1．Relevance feedback：a power tool in interactive content—based image retrieval[J]．IEEE
Transactions on Circuits and Systems for Video Teehnolgy(CSVT)，1998．
[14]熊回香．基于内容的图像检索技术的发展方向EJ]．信息检索技术，2004(12)：32—35．
[15]冯国光．齐影虹，肖扬波．基于内容的图像检索技术综述EJ]．科技广场，2007(3)：233—236．
