一种人脸深度跟踪装置及实现方法   0    0

本发明公开了一种人脸深度跟踪的装置及实现方法。本发明包括红外照明模块、红外测距采集模块、计算模块。红外照明模块用于对周围环境进行红外照明，红外发射波长在780～940nm的红外光，提供背光源照射目标物和背景，以确保采集环境中有良好的照明条件；红外测距采集模块用于对人脸运动的信息的采集，包括红外摄像头以及感光芯片；计算模块先进行人脸区域的判断，再用于读取红外测距采集模块采集到的人脸深度图像信息，并进行人脸五官的跟踪计算。本发明装置及方法跟踪精度高，速度快，可以大范围地应用在人机交互上，并进一步降低硬件成本。

1.一种人脸深度跟踪装置，其特征在于包括红外发射模块、红外测距采集模块、计算模块；
所述的红外发射模块用于对待测人脸进行红外照明，红外发射模块发射波长在780～
940nm的红外光，提供背光源照射目标物和背景，以确保采集环境中有良好的照明条件；
所述的红外测距采集模块用于对人脸深度图像信息的采集，该模块包括对红外波长敏感的感光芯片和半透玻璃膜，由红外发射模块发出的红外射线经过半透玻璃膜之后分为反射光线和透射光线两部分，反射光线则直接经过半透玻璃膜反射后照射在感光芯片上，而透射光线则透过半透玻璃膜后照射到人脸并且经由人脸反射至感光芯片上，如此形成两个光信号，然后测量两个光信号间的距离，从而将信号间的距离经过特定的公式计算出人脸的深度，并且向人脸深度图转换，并且绘制出深度图；
所述的计算模块：首先进行人脸区域的判断，然后读取红外测距采集模块采集到的人脸深度图像信息，最后对人脸五官进行的跟踪计算，具体的：
首先利用计算模块中的摄像头直接捕捉图像，记作原图像；其次利用haar分类器直接检测该原图像是否为人脸图像，若不是人脸图像，则该帧原图像不予以跟踪，若是人脸图像，则利用NPD特征来初步确定五官的大致位置，并且获取该人脸图像的中心坐标，然后使用红外发射模块对目标人脸图像进行红外照明；红外发射波长在780～940nm的红外光，由红外测距采集模块进行人脸图像深度采集，并将采集到的人脸深度图像信息传输给计算模块，计算模块读取接收到的人脸深度图像信息，并在人脸深度图像上利用已经通过NPD获取的中心坐标作测试补丁：以五官各自的中心坐标O为中心，特定长度为边长，作一个小的矩形，该矩形的边长正好与人脸成一定比例，并且使得五官各自的信息包含于对应的矩形中，该矩形称为测试补丁；最后对人脸深度图各个测试补丁进行主成分分析，提取每类测试补丁的主分量，并对人脸深度图对应的补丁中心进行标点；并且将该人脸深度图上标点的坐标映射到原图像上去，并在原图像上将这些点标出，从而精确地跟踪人脸。

2.如权利要求1所述的一种人脸深度跟踪装置的实现方法，其特征在于具体包括如下步骤：
步骤1：利用摄像头直接捕捉待测图像，并且利用Haar特征进行人脸区域检测；
步骤2：利用NPD进行人脸五官位置估计，并获取五官位置的坐标；
步骤3：利用红外发射模块对待测人脸发射特定频率的红外光线；
步骤4：利用红外测距采集模块进行人脸区域的深度信息采集，得到人脸深度图像；
步骤5：在人脸深度图像中根据初步估计的五官位置坐标获取测试补丁；
步骤6：对测试补丁求极大无关组，如果能由对应的训练集中的极大无关组线性表出，则在原图像上对应坐标处标上点。

3.根据权利要求1所述的一种人脸深度跟踪装置，其特征在于红外测距采集模块中所述的将信号间的距离经过特定的公式计算出人脸的深度，并且向人脸深度图转换，并且绘制出深度图，具体实现如下：
红外发射模块采用波长为780～940nm的红外光，红外发射模块呈可调节的偏转角θ发射平行的红外光线束至半透玻璃膜，之后每一道光线分为两道光线，一道直接反射，另一道经过透射和反射后照射到感光芯片上，感光芯片将所有的红外信号对发送至红外测距采集模块，测得两个光信号之间的距离，并由公式计算出待测人脸与透射玻璃膜间的距离；
红外发射模块将密集的n束红外光线以与感光芯片成θ角的方向向人脸发射，从而搜集每一对光信号的坐标，得到n组坐标对，获取纵坐标相同坐标点组成坐标对，每一个坐标对中两坐标点的横坐标b、a作差之后得到的差值就是两个光信号之间的距离d，从而计算出θ角和光信号之间的距离d有如下关系：
D＝[(b-a)*tanθ]/2    (1)
D＝(d*tanθ)/2   (2)
通过上述公式能够计算出人脸图像上某一列像素点的深度，而对于整张人脸图像的深度，则通过逐渐连续增大θ角来实现，而深度图上每一个深度坐标的横坐标由每一个坐标对中的横坐标a确定，纵坐标就是对应坐标对的纵坐标；从而得到待测人脸上每一点对应的与半透玻璃膜间的距离；
由坐标对和该坐标对对应的距离d值构成距离矩阵A；在由红外光线扫描完整张人脸之后，选出距离矩阵A中数值最小的点，将矩阵A中所有的元素都减去这个数值得到矩阵B，求出矩阵B中所有元素的和记作s，矩阵C由以下公式计算得出：
C＝(255/s)*B    (3)
矩阵C中的每一个元素an更新为255-an，构成最终的深度图。

4.根据权利要求3所述的一种人脸深度跟踪装置，其特征在于对计算模块中测试补丁，求出其特征向量的极大无关组，具体如下：
(1)首先获取人脸某一个特定五官部位的深度图测试补丁A；
(2)然后由方程|A-λE|＝0求出所有特征值λ，E为单位向量；
(3)将每一个特征值λ代入方程(A-λE)X＝0,求该方程的所有非零向量X；
(4)将该深度图测试补丁A中所有特征值对应的特征向量X分别读取其元素，依次排成矩阵的形式[X11 X12 X13…X1n]；
(5)将该矩阵中以列向量的形式拼接上对应同类训练集补丁的极大无关组，组成增广矩阵，并通过初等行变换变为阶梯阵，并计算阶梯数，即为该增广矩阵的秩，称作R；
比较测试补丁中对应的增广矩阵的测试秩R，与其对应的训练集中极大无关组的训练秩R，若测试秩R＝训练秩R，则被测试的补丁被判断为正例，反之，测试秩R＞训练秩R，则判断为反例。

5.根据权利要求4所述的一种人脸深度跟踪装置，其特征在于训练集中的极大无关组的训练秩R由以下方法获得：
(1)首先获取人脸某一个特定部位的深度图训练集补丁库B；
(2)对于每一个补丁由|B-λE|＝0，该方程求出所有特征值λ；
(3)将每一个特征值λ代入方程(B-λE)X＝0，求该方程的所有非零向量X，并将这些向量X储存；
(4)对于每一个同类补丁都进行步骤2和3，从而将所有同类补丁的特征向量X累积起来，并且列成矩阵的形式；如下所示：
Xi＝[a1 a2 a
3...an]   (4)
T
X＝[X1 X2 X
3...Xm]   (5)
(5)将该矩阵通过初等行变换变为阶梯阵.
并统计每一行第一个非零元素所在的列，将这些列取出排成一组，即为训练集补丁的极大线性无关组，将每一个同类训练集补丁的极大无关组储存起来，并且统计极大无关组中向量的个数，即为训练秩R，同样也储存起来；
通过比较测试秩R与训练秩R的大小就能判断测试集中的特征向量能否由训练集中的特征向量线性表出了；
若测试秩R＝训练秩R成立，则判断为正例补丁，在原图像相应的坐标点做上标记。

6.根据权利要求2所述的一种人脸深度跟踪装置的实现方法，其特征在于步骤3和4的具体实现如下：
红外发射模块采用波长为780～940nm的红外光，红外发射模块呈可调节的偏转角θ发射平行的红外光线束至半透玻璃膜，之后每一道光线分为两道光线，一道直接反射，另一道经过透射和反射后照射到感光芯片上，感光芯片将所有的红外信号对发送至红外测距采集模块，测得两个光信号之间的距离，并由公式计算出待测人脸与透射玻璃膜间的距离；
红外发射模块将密集的n束红外光线以与感光芯片成θ角的方向向人脸发射，从而搜集每一对光信号的坐标，得到n组坐标对，获取纵坐标相同坐标点组成坐标对，每一个坐标对中两坐标点的横坐标b、a作差之后得到的差值就是两个光信号之间的距离d，从而计算出θ角和光信号之间的距离d有如下关系：
D＝[(b-a)*tanθ]/2   (1)
D＝(d*tanθ)/2   (2)
通过上述公式能够计算出人脸图像上某一列像素点的深度，而对于整张人脸图像的深度，则通过逐渐连续增大θ角来实现，而深度图上每一个深度坐标的横坐标由每一个坐标对中的横坐标a确定，纵坐标就是对应坐标对的纵坐标；从而得到待测人脸上每一点对应的与半透玻璃膜间的距离；
由坐标对和该坐标对对应的距离d值构成距离矩阵A；在由红外光线扫描完整张人脸之后，选出距离矩阵A中数值最小的点，将矩阵A中所有的元素都减去这个数值得到矩阵B，求出矩阵B中所有元素的和记作s，矩阵C由以下公式计算得出：
C＝(255/s)*B   (3)
矩阵C中的每一个元素an更新为255-an，构成最终的深度图。

7.根据权利要求6所述的一种人脸深度跟踪装置的实现方法，其特征在于步骤6具体实现如下：
(1)首先获取人脸某一个特定五官部位的深度图测试补丁A；
(2)然后由方程|A-λE|＝0求出所有特征值λ，E为单位向量；
(3)将每一个特征值λ代入方程(A-λE)X＝0,求该方程的所有非零向量X；
(4)将该深度图测试补丁A中所有特征值对应的特征向量X分别读取其元素，依次排成矩阵的形式[X11 X12 X13…X1n]；
(5)将该矩阵中以列向量的形式拼接上对应同类训练集补丁的极大无关组，组成增广矩阵，并通过初等行变换变为阶梯阵，并计算阶梯数，即为该增广矩阵的秩，称作R；
比较测试补丁中对应的增广矩阵的测试秩R，与其对应的训练集中极大无关组的训练秩R，若测试秩R＝训练秩R，则被测试的补丁被判断为正例，反之，测试秩R＞训练秩R，则判断为反例。

8.根据权利要求7所述的一种人脸深度跟踪装置的实现方法，其特征在于训练集中的极大无关组的训练秩R由以下方法获得：
(1)首先获取人脸某一个特定部位的深度图训练集补丁库B；
(2)对于每一个补丁由|B-λE|＝0，该方程求出所有特征值λ；
(3)将每一个特征值λ代入方程(B-λE)X＝0，求该方程的所有非零向量X，并将这些向量X储存；
(4)对于每一个同类补丁都进行步骤2和3，从而将所有同类补丁的特征向量X累积起来，并且列成矩阵的形式；如下所示：
Xi＝[a1 a2 a
3...an]   (4)
X＝[X1 X2 X
3...Xm]T   (5)
(5)将该矩阵通过初等行变换变为阶梯阵.
并统计每一行第一个非零元素所在的列，将这些列取出排成一组，即为训练集补丁的极大线性无关组，将每一个同类训练集补丁的极大无关组储存起来，并且统计极大无关组中向量的个数，即为训练秩R，同样也储存起来；
通过比较测试秩R与训练秩R的大小就能判断测试集中的特征向量能否由训练集中的特征向量线性表出了；
若测试秩R＝训练秩R成立，则判断为正例补丁，在原图像相应的坐标点做上标记。