本节书摘来自异步社区《人脸识别原理及算法——动态人脸识别系统研究》一书中的第5章5.3节 人脸局部特征探测，作者 沈理 , 刘翼光 , 熊志勇,更多章节内容可以访问云栖社区“异步社区”公众号查看。
5.3 人脸局部特征探测人脸识别原理及算法——动态人脸识别系统研究如同5.2.4节、5.2.5节中人脸图像的尺度探测、平面旋转角度探测以及深度旋转角度探测一样，可利用PCA方法来探测人脸图像的局部特征，如眼睛、鼻子、嘴部等。为此，必须事先定义这些特征的模板。
定义5.3： 给定M幅正面人脸图像，从每幅图像中提取眼睛区域，形成眼睛图像集合，然后利用PCA方法得到眼睛图像集合的特征向量mu _E^1 ,mu _E^2 ,…,mu _E^M ，则由这些向量组成的空间Omega _E 称为眼睛模板。同时还可给出模板的阈值Theta _E ，一般Theta _E 是根据实验结果事先确定的。
同样，还可相应地定义鼻子模板（Omega _N ,Theta _N ）、嘴部模板（Omega _M ,Theta _M ）、局部脸模板（Omega _{LF} ,Theta _{LF} ）等。各局部特征区域的选择如图5-16所示。
图5-16中方框内表示相应的局部特征区域，框内的十字交叉线的交点为方框的中心点，其中眼睛区域的中心为两眼瞳孔处，鼻子区域的中心取为鼻尖处，而局部脸区域的中心也取在鼻尖处。这里没有采用嘴部区域，这是因为在所有这些局部特征中，嘴部特征是最不稳定的。
5.3.1 逐步求精定位法进行人脸局部区域的探测可以用全局求精定位法，即在整个图像范围内查找眼睛区域、鼻子区域及嘴部区域等；另外也可以采用逐步求精定位法，即先从一背景图像中将人脸区域查找出来，然后将人脸区域作为背景，将眼睛区域、鼻子区域及嘴部区域等局部区域精确地探测出来。
由于逐步求精定位法利用了人脸各局部区域的空间位置关系，大大地缩小了探测范围，并使定位精度也得到提高。因此，这里使用逐步求精定位法，具体算法如下。
① 在待识人脸图像处取一待测人脸区域大小的矩形{rm O}(x)，如图5-16（d）所示。
② 利用式（5-2），将O(x)向相应的人脸特征空间Ω投影，得到投影系数varpi _i 。
③ 利用式（5-1），计算O(x)的重构图像O^{rec} (x)。
④ 利用式（5-3），计算重构误差varepsilon (x)。
⑤ 判断是否所有位置都探测完，否则，取另一位置处的矩形区域O(x')，转到（2）。
⑥ 取重构误差最小处的矩形区域作为待测人脸区域。
⑦ 在已得到的人脸区域内，探测其他人脸特征，如眼睛区域、鼻子区域以及嘴部区域，具体探测过程同上。
⑧ 结束。
具体进行探测时，由图5-16（d）可见，局部脸区域的中心点又是鼻子区域的中心点，故鼻子区域可直接得到。
5.3.2 实验为了测试人脸特征探测的准确率，这里使用来自ARPA/ARL的FERET人脸图像库进行实验，这是因为它含有大量的样本图像，不像MIT的人脸图像库中只有16个样本。这里采用了145个人脸样本，每个样本取两幅图像，分别称为fa及fb，共有290幅。这两幅图像间尺度、姿势都大体相同，仅光照及表情有些变化。
实验中取46幅fa人脸图像作为训练样本进行训练。在训练过程中，首先手工提取眼睛区域、鼻子区域及局部脸区域，得到相应的特征区域集合，并利用PCA方法，得到相应的局部特征空间，称为特征眼空间、特征鼻空间及局部特征脸空间，其中局部特征脸空间如图5-17所示。实验过程如5.3.1节中所述。根据上述思想，共进行了4组实验。
实验5.24：使用训练样本作为测试图像。① 训练样本取46幅fa图像，测试图像同训练样本。
② 实验过程为探测人脸局部区域、眼睛区域及鼻子区域的位置。实验结果见表5-5第二列。
实验5.25：使用训练目标的另一样本作为测试图像。① 训练样本取46幅fa图像，测试图像为训练目标的另一样本图像，为46幅fb图像。
② 实验过程为探测人脸局部区域、眼睛区域及鼻子区域的位置。实验结果见表5-5第三列。
实验5.26：使用非训练样本作为测试图像。① 训练样本取46幅fa图像，测试图像为库中其他目标图像，取99幅fa图像。
② 实验过程为探测人脸局部区域、眼睛区域及鼻子区域的位置。实验结果见表5-5第四列。
实验5.27：使用非训练样本作为测试图像。① 训练样本取46幅fa图像，测试图像为库中其他目标图像，取99幅fb图像。
② 实验过程为探测人脸局部区域、眼睛区域及鼻子区域的位置。实验结果见表5-5第五列。注： 探测准确与否是指与实际位置相差不超出5个像素点由表5-5可以看出，使用PCA方法对于人脸各局部特征的探测准确率是较高的，尤其对于非样本图像特征的探测也是较高的。这说明所取的局部特征向量受训练样本效应的影响较小，如果将训练样本扩大，特征探测准确率还将有所改善。
图5-18所示为一特征探测例子，其中图5-18（a）为测试人脸图像，图5-18（b）为特征探测结果。
同样还可构造旋转人脸图像特征模板，对旋转人脸图像局部特征进行探测，图5-19给出一旋转人脸特征探测例子，其中图5-19（a）为测试人脸图像，图5-19（b）特征探测结果。本文仅用于学习和交流目的，不代表异步社区观点。非商业转载请注明作译者、出处，并保留本文的原始链接。
