|
|
文献综述
人脸检测方法综述
摘要：人脸识别技术具有广泛的应用前景，其目标是识别出所有包含了人脸中不注意的三维位置、方向和光照条件的图像区域。这个问题正受到挑战，因为人脸不是僵硬的，而且人脸的大小、形状、颜色和结构的变化程度很大。而无论从何种角度对人脸识别技术进行分类，要实现一个健壮的人脸识别系统，都需要解决检验人脸的这一步，因此，本文从四个大类从发，分别简单阐述了单一图像中的人脸检测方法。
关键字：人脸识别、人脸检测、特征
1、引言
人脸识别就是对于输入的人脸图像或者视频，首先判断其中是否存在人脸，如果存在人脸，则进一步的给出每个人脸的位置、大小和各个主要面部器官的位置信息，并依据这些信息，进一步提取每个人脸中所蕴含的身份特征，并将其与已知人脸库中的人脸进行对比，从而识别每个人脸的身份。人脸识别的过程可以分为以下三个部分：(1)人脸检测：判断输入图像中是否存在人脸，如果有，给出每个人脸的位置，大小；(2)面部特征定位：对找到的每个人脸，检测其主要器官的位置和形状等信息；(3)人脸比对：根据面部特征定位的结果，与库中人脸对比，判断该人脸的身份信息；显然地，在任何一个自动化的系统中，人脸检测都是解决上述问题的第一步。在本文中，我们把人脸识别和人脸定位区分开了，因为，后者是前者的一个简化了的问题。因此，本文的重点是放在放在人脸的检验方法上的。
在此，给出一个人脸检测的定义：给出一幅随意的图像，人脸检测的目的是明确图像中是否有人脸，如果有，返回每张人脸的范围和位置。与人脸检验有关的挑战可以归纳为如下这些因素：
1.姿势。图像中人脸的变化取决于相关的（摄取的）人脸姿势（正面、45度、侧面、向上、向下）以及一些面部的特征，例如眼睛或鼻子有可能是部分或全部闭塞（遮挡住了）。
2.结构部件的有无。象络腮胡子、（嘴唇上面的）胡子和眼镜这些面部特征可能有也可能没有,有些（人脸上的）部件包括形状、颜色和大小有大量的变化。
3.面部表情。一个人的面部表情直接影响着人脸的外观。
4.闭塞（遮挡）。人脸可能因为其他的对象而部分地被闭塞（遮挡）。在一幅有一群人的图像中，一些人的脸的一部分可能被其他人的脸挡住了。
5.图像定位。人脸的图像因为照相机的光学轴线的不同旋转而呈现出变化。
6.成像的条件。一幅图像的成像因素包括光照（光谱，来源的分布和强度）和照相机的特性（传感器的响应，镜头）对人脸外观的影响。
2、单一图像中的人脸检测
我们可以把单一图像中人脸的检测方法分为四类，而这些方法的分类界限而是可以重叠的。
1.基于知识（Knowledge-based）的方法。基于知识（Knowledge-based）的这些方法是把组成同一类人脸的信息进行编码。一般来说，这类标准捕捉的对象是脸部特征的相关之处。这些方法主要是为了人脸的定位设计的。
2.不变特征（Feature invariant）的方法。这类算法的目的是找出在姿势、角度或光照条件变化的情况下人脸上存在的那些结构特征，并以此来定位人脸。这类方法主要也是为了人脸的定位设计的。
3.模板匹配（Template matching）的方法。把一些标准的人脸模型存储起来，并以此用于描述人脸的全面或个别的脸部特征。通过输入图像和已经存储的模型之间相关性的计算来检测人脸。这类方法已经被用于人类的定位和检测了。
4.基于外观的（Appearance-based）方法。与模板匹配不同，这里的模板样式（或模板）是从一个训练（测试）图像集中获取的，而这个图像集捕捉到的是具有典型性且变化着的脸部外观。这些模板样式是为检测人脸服务的，所以这类方法主要也是为了人脸检测而设计的。
方法 代表文章
1. 基于知识 Multiresolution rule-based method
2. 不变特征
面部特征 Grouping of edges
肌理（皮肤） Space Gray-Level Dependence matrix(SGLD) of face pattern
肤色 Mixture of Gaussian
多重特征 Integration of skin color,size and shape
3. 模板匹配
预先确定的人脸模板 Shape template
可变的（人脸）模型 Active Shape Model(ASM)
4. 基于外观的（识别）方式
特征人脸 Eigenvector decomposition and clustering
分布式 Gaussian distribution and multiplayer perceptron
神经系统网络 Ensemble of neural nerworks and arbitration schemes
支持矢量机技术 SVM with polynomial kernel
简单贝叶斯分类 Joint statistics of local appearance and position
隐马尔可夫模型 Higher order staticstics with HMM
信息理论法 Kullback relative information
表格1 单一图像的人脸识别方法分类
下面，展开讨论一下每一类方法的出发点和基本的实现方式。
2.1基于知识的，组织管理严密的人脸检测法
这类方法的发展标准是基于研究人员对人脸信息的研究，由此提出了描述人脸特征及其相关性的简单标准。例如，一幅图像中一张人脸上有一双位置对称的眼睛，一个鼻子和一张嘴巴。这些特征的关系可以通过它们的相对距离和位置来描述。这副输入图像中的脸部特征首先被萃取出来，而脸部其他候选区域的识别是基于这些特征的编码标准的。
这种检测方法的一个问题是：把人脸信息翻译成定义好的标准是一个难题。因为，如果这个标准已经被细化或是很精确的，那么被检测的人脸会因为不符合所有标准而无法被检测出来。但是，如果这个标准太粗略，被检测的人脸又会出现很多检测错误。此外，要进一步发展在不同姿势下检测人脸的方法也是困难的，因为要把所有可能的例子全部列举出来是很困难的。
（图1.（a）n＝1，原始图像；（b）n＝4；（c）n＝8；（d）n＝16。原始的和相对低分辨率的图像。每平方单元由n×n个像素组成，这些像素的亮度被那个单元中的像素的平均亮度所代替）
（图2.一个典型的人脸在基于知识的组织管理严密的方法中的应用：标准的编码是由人脸信息中脸部区域的特征决定的（例如：（脸部）亮度的分布和区别）〔107〕。）
杨和黄使用一种分等级的信息（识别）方法来检测识别人脸〔170〕。他们的这个系统由三个级别的标准组成。最高级别中，所有可能出现的人脸信息是通过扫描位于输入图像上的窗口和应用一组标准，在其各自的位置上得到的。该标准的较高级别是对人脸的外表特征进行一般性的描述，而该标准的较低级别是对面部特征的细节的描述。通过平均（计算）和二次抽样可以生成一幅多层次的图像，在图1中给出一个实例。实例中的编码标准常用于在最低分辨率下对候选人脸（信息）的查找：“在人脸的中央部分（见图2阴影最深的部分）有四个单元的亮度是基本一致的”，“在人脸外围一圈的部分（间图2阴影较浅的部分）有一些亮度基本一致的单元”，“（显然）中央部分的平均灰度值和其上面一圈的平均灰度值的区别是很有意义的。” 这个分辨率最低（级别一）的图像的搜索是为那些候选人脸及其在更高分辨率的后续处理中服务的。在级别二中，局部直方图的同等化是在这些候选人脸从级别二中得到后进行的，且遵循边缘检测。（检测后）剩余的候选区域接着在级别三中被检测，其中级别三是另一个对诸如眼睛、嘴巴等脸部特征做出响应的标准集。求值是在一个包含60幅图像的测试集中进行的，这个系统定位的人脸在50幅测试图像中，而还有28幅图像则出现在发生错误警告时。这个方法吸引人的特点就是从粗糙到精确、从集中的引起注意的这个策略过去被常用于减少必要的角色。虽然这个方法不能达到一个高的识别率，但是这个用在多分辨率层次和用于导向研究的标准的思想在随后的人脸检测著作中已经被利用起来了〔81〕。
Kotropoulos和Pitas〔81〕提出了一种基于定位标准的方法，这种和〔71〕和〔170〕很相似。首先，使用投影来定位脸部特征的方法，被Kanade 成功地使用在定位一张人脸的分界线上〔71〕。设I(x,y)是一个m×n大小的图像中某一位置(x,y)上的一个亮度值，图像的水平和垂直预测被定义为HI(x)=和VI(y)=。首先得到这幅输入图像的水平轮廓，然后由在HI处检测到的突然变化来决定这个两个位置的最小值，也就是相当于头的左右两边。类似的，垂直预测的得到和定位的最小值是由嘴唇、鼻尖和眼睛的位置来决定的。这些被探测到的特征组成了一个面部的候选。图片3a给出这样一个例子：人脸的分界线相当于亮度突然发生改变的位置上的最小值。随后，眉毛/眼睛，鼻孔/鼻子和嘴巴的识别标准被用在那些有效的候选项中。这个被提议的方法已经被用在一组正面人脸集合的测试中，其中，这些人脸取自欧洲声控制与遥感系统的电视服务和安全应用的多模型数据库，这个数据库中包含了37个不同的人的视频序列。每幅图像依次包含了相同背景下的一个人脸。他们的识别方法提供了所有测试中正确的候选人脸。如果成功识别的定义象正确识别所有面部特征的定义那有，那么这个识别率有86.5％。图片3b给出了一个例子：在一个复杂的背景下用水平和垂直预测来定位一个人脸会变得困难。此外，这个方法在图解的图片3c这种多人脸的图像中不能容易地被识别出。本质上，如果窗口在预测方法操作之上被适宜地定位以避免易于误解的干扰，那么，这个方法是有效的。
（图3.（a）和（b）n＝8；（c）n＝4。水平和垂直预测。通过查找水平和垂直预测的最高点的方法识别一幅单一图像是可行的。然后，同样的方法用在复杂背景的人脸识别和多人脸的识别中就有困难了，如图（b）、（c）。）
2.2自上而下的基于特征的人脸检测法
相对于基于知识的组织管理严密的方法，在这类检测方法中，研究者一直在设法找寻一些人脸检测中不变特征。许多已经被提出来的方法首先检测脸部特征，然后推断人脸的存在。脸部的特征例如眉毛、眼睛、鼻子、嘴巴和毛发大多使用边缘识别器来萃取。在萃取到这些特征的基础上，构建一个用于描述特征相关性和检验人脸存在性的统计模型。这些基于特征的算法存在的一个问题是：图像的特征可能会因为照明、噪音和被遮挡而变得相当模糊。当阴影引起大量强化且聚集在一起的边界从而导致有知觉（perceptional）的分组算法无效时，人脸的特征边界线也可能变弱。
[1] Thomas Fromherz, Peter Stucki, Martin Bichsel. A Survey of Face Recognition. MML Technical Report, No 97.01, Dept. of Computer Science, University of Zurich, 1997.
[2] R.C.K Hua, L.C. De Silva, P. Vadakkepat. Detection and Tracking of Faces in Real-Time Environments. International Workshop on Recognition, Analysis, and Tracking of Faces and Gestures in Real-Time Systems,Sep. 26 - 27, 1999, p.96
[3] Ming-Hsuan Yang, David J. Kriegman, Narendra Ahuja. Detecting Faces in Images: A Survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002,VOL. 24, NO. 1
[4] Do-Joon Jung, Chang-Woo Lee, Yeon-Chul Lee, Sang-Yong Bak, Jong-Bae Kim, Hyun Kang, Hang-Joon Kim. PCA-Base Real-Time Face Detection and Tracking. International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC'02), Jul, Phuket, Thailand, Jul. 16-19, 2002, Vol. 1, p.615-618
[5] James L. Crowley, Francois Berard. Multi-Modal Tracking of Faces for Video Communications. Proceedings of the 1997 Conference on Computer Vision and Pattern Recognition (CVPR '97), 1997, p.640
[6] Vladimir Vezhnevets, Vassili Sazonov, Alla Andreeva. A Survey on Pixel-Based Skin Color Detection Techniques. Graphics,Media Laboratory.
[7] Rein-Lien Hsu, Mohamed Abdel-Mottaleb, Anil K. Jain. Face Detection in Color Images. IEEE Trans. Pattern Analysis and Machine Intelligence, May 2002, vol. 24, no. 5, p. 696-706
