澳门第一娱乐娱城官网一种基于深度学习的三维人脸识别方法与流程2.人脸识别是指利用分析人脸视觉特征信息进行身份鉴别的计算机技术,属于非接触式识别,具有很高的隐蔽性,被广泛应用于办公场地、工地等安全系数要求较高的领域澳门第一娱乐娱城官网。
3.近年来,随着深度学习技术的发展澳门第一娱乐娱城官网,利用神经网络的人脸识别技术日渐成熟,相关应用也日渐落地,但由于在人脸成像过程中损失了深度信息,所有识别结果的可靠性仍有不足。
4.因此,如何充分利用人脸的深度信息来有效提高人脸识别结果的可靠性,已成为现有技术中亟待解决的技术问题之一。
5.有鉴于此,本发明的目的是提供一种基于深度学习的三维人脸识别方法,能充分利用人脸的深度信息来有效提高人脸识别结果的可靠性。
7.步骤一、构建人脸三维深度学习网络,计算每个训练样本的高频-深度映射图,然后将每个训练样本的彩色人脸二维图像和高频-深度映射图同时输入人脸三维深度学习网络中进行训练;
8.步骤二、使用彩色摄像头拍摄获得待测人脸的彩色人脸二维图像,然后将待测人脸的彩色人脸二维图像输入训练后的人脸三维深度学习网络,输出获得待测人脸的三维点云坐标;
9.步骤三、根据待测人脸的彩色人脸二维图像和三维点云坐标,计算三维人脸特征向量,然后将待测人脸的三维人脸特征向量和注册库中已注册人脸的三维人脸特征向量进行对比,从而识别待测人脸的人员信息。
10.与现有技术相比,本发明的有益效果是:本发明将人脸深度信息加入到神经网络的训练过程中,弥补了深度信息的缺失,从而有效提高了人脸识别结果的可靠性;本发明仅采用一个摄像头,只需要获取被测人脸的单张图像,并结合深度学习及机器学习等技术,大大提高了人脸检测的速度、通过率及防伪率,且成本低、精度高澳门第一娱乐娱城官网澳门新莆京游戏大厅。
13.图3是图1步骤三中,根据待测人脸的彩色人脸二维图像和三维点云坐标计算三维人脸特征向量的具体流程图澳门太阳游戏网站。
16.步骤一、构建人脸三维深度学习网络,计算每个训练样本的高频-深度映射图,然后将每个训练样本的彩色人脸二维图像和高频-深度映射图同时输入人脸三维深度学习网络中进行训练;
17.步骤二、使用彩色摄像头拍摄获得待测人脸的彩色人脸二维图像,然后将待测人脸的彩色人脸二维图像输入训练后的人脸三维深度学习网络,输出获得待测人脸的三维点云坐标;
18.步骤三、根据待测人脸的彩色人脸二维图像和三维点云坐标澳门第一娱乐娱城官网,计算三维人脸特征向量,然后将待测人脸的三维人脸特征向量和注册库中已注册人脸的三维人脸特征向量进行对比,从而识别待测人脸的人员信息。
19.人脸注册时,可以利用3d传感器准确记录其三维信息,并生成三维人脸特征向量,最后将注册人脸的三维人脸特征向量存入注册库中澳门娱乐娱城官网。
21.基于tensorflow框架实现,并采用编码-解码(即encoder-decoder)结构:在encoder部分中,包含1个卷积层、7个残差层,从而可以将输入的250*250*3的人脸二维图像转变为16*16*1024的特征图;在decoder部分中,设置9个反卷积层,从而可以将特征图转变为250*250*1的三维深度图,再通过三维深度图和点云之间固定的转换关系,将三维深度图转变成三维点云输出,卷积层和反卷积层核的大小均为4,激活函数采用softplus。这样,当输入250*250*3的彩色人脸二维图像后,人脸三维深度学习网络的输出是250*250的三维点云坐标(共62500个)。
22.值得一提的是,在训练人脸三维深度学习网络时,本发明可以通过计算每个训练样本的高频-深度映射图,并将每个训练样本的彩色人脸二维图像和高频-深度映射图同时输入人脸三维深度学习网络中进行训练,从而使得训练后得到的模型参数中,人脸图像中的一般特征(即人脸中比较普通、难以用来进行识别的特征)的权重降低,个性特征(即人脸中比较有个性、有助于准确识别的特征)的权重提高,显著提高人脸识别的准确性。如图2所示,计算任一训练样本x的高频-深度映射图,可以进一步包括有:
23.步骤11、对训练样本x的彩色人脸二维图像进行傅里叶频谱变换,从而获得训练样本x的频谱图;
24.步骤12、从训练样本x的彩色人脸二维图像上提取若干关键点,所述关键点可以是眉毛、眼睛、鼻子、嘴巴、面部轮廓等,然后从训练样本x的频谱图上读取每个关键点的频谱值,并据此计算高通滤波函数的截断值d0,d0是所有关键点的频谱值的平均值;
25.步骤13、设定高通滤波函数,并将训练样本x的频谱图通过高通滤波函数以获得滤波后的高频图,高通滤波函数设置如下:其中,d(u,v)是训练样本x的频谱图上坐标(u,v)的频谱值,n是阶次常数澳门新莆京游戏大厅,取2或者4,h(u,v)是滤波后得到的频谱值;如此可以有效的除去低频信息,并获得所需要的高频信息;
27.步骤15、将高频彩色人脸二维图像中每个点的亮度值和阈值比对,并将高于阈值的亮度值替换成深度值:判断每个点的亮度值是否高于阈值,如果是,则从训练样本x的三维点云中读取该点的三维坐标,并将所读取的三维坐标转化成深度值,然后将该点的亮度值替换成深度值;如果否,则继续判断下一个点,当比对完所有点后,所获得的高频彩色人脸二维图像即是训练样本x的高频-深度映射图。其中,训练样本x的三维点云可以使用深度相机采集训练样本而得到,阈值可以根据实际业务需要而设置,例如20。
28.如图3所示澳门第一娱乐娱城官网,步骤三中,根据待测人脸的彩色人脸二维图像和三维点云坐标,计算三维人脸特征向量澳门娱乐娱城官网,可以进一步包括有:
29.步骤31、将待测人脸的二维图像进行人脸检测澳门太阳游戏网站、裁剪、对齐后,转化成浮点型矩阵,然后计算对应的二维图像特征向量,所述二维图像特征向量是大小为512的一维向量;
30.步骤32、根据待测人脸的三维点云坐标澳门太阳游戏网站,以鼻尖为坐标原点,以双眼连线为横轴方向x,以鼻尖和嘴唇中间连线为纵轴方向y,建立笛卡尔xyz直角坐标系,从而得到人脸三维点云矩阵,然后计算对应的三维点云特征向量,所述三维点云特征向量是大小为3*512的三维向量;
31.步骤33、设置权重因子,将二维图像特征向量和三维点云特征向量进行融合,融合后得到的特征向量即是三维人脸特征向量,其中,二维人脸特征、x方向特征、y方向特征、z方向特征的权重因子可以分别设置为:0.5、0.17、0.17、0.16。
32.步骤三中,将待测人脸的三维人脸特征向量和注册库中任一已注册人脸的三维人脸特征向量进行对比,可以进一步包括有:
33.步骤a1澳门新莆京游戏大厅、计算待测人脸的三维人脸特征向量a和已注册人脸的三维人脸特征向量b之间的余弦相似度,其计算公式可以是:其中,a
34.步骤a2、计算待测人脸和已注册人脸的余弦距离:dist(a,b)=1-cos(a,b)澳门娱乐娱城官网,余弦距离越大,则表示二者之间的相似性越低,并据此判断待测人脸是否是已注册人脸。
35.以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
1.计算机视觉 2.无线.计算机仿线.网络安全;物联网安全 澳门第一娱乐娱城官网、大数据安全 2.安全态势感知、舆情分析和控制 3.区块链及应用