发明名称 一种基于立体匹配的人脸三维模型获取方法
摘要 一种基于立体匹配的人脸三维模型获取方法,其实现步骤为:(1)使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像,任取其中一幅为基准图像,另一幅为对准图像;(2)分别对两台摄像机进行标定;(3)从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的轮廓线,使用动态规划算法对轮廓线上的所有像素点进行匹配,并根据已匹配的轮廓线将基准图像中的人脸划分为眼睛、眉毛、鼻子、嘴7个待匹配区域;(4)从每个待匹配区域的外边缘线开始,向区域内部,使用区域增长与动态规划相结合的算法,对基准图像中的待匹配像素点进行匹配;(5)根据摄像机参数计算匹配点对所对应的人脸上实际点的三维坐标,进而得到整个人脸的三维点云数据。
申请公布号 CN101320485A 申请公布日期 2008.12.10
申请号 CN200810122626.4 申请日期 2008.06.03
申请人 东南大学 发明人 达飞鹏;傅有成;邢德奎;马倩倩
分类号 G06T17/00(2006.01) 主分类号 G06T17/00(2006.01)
代理机构 南京经纬专利商标代理有限公司 代理人 陆志斌
主权项 1、一种基于立体匹配的人脸三维模型获取方法,其特征在于:步骤1:使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像,任取其中一幅为基准图像,另一幅为对准图像,步骤2:分别对两台摄像机进行标定,获得各自的内参数矩阵AL、AR和外参数矩阵[RL TL]、[RR TR],步骤3:从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的轮廓线,使用动态规划算法对轮廓线上的所有像素点进行匹配,并根据已匹配的轮廓线将基准图像中的人脸划分为7个区域:步骤3.1:从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的连续的封闭的单像素宽度的轮廓线,步骤3.2:分别将步骤3.1提取出的基准图像中的每一条轮廓线作为动态规划算法的路径,使用动态规划算法,找到这些轮廓线上的每一个像素点在对准图像中对应的匹配点,把为基准图像中的像素点在对准图像中找到对应匹配点的过程称为匹配过程,把已经在对准像图像中找到对应匹配点的基准图像中的像素点称为已匹配点,把还没有在对准图像中找到对应匹配点的基准图像中的像素点称为待匹配点,把基准图像中完全由未匹配点组成的区域称为待匹配区域,步骤3.3:在基准图像中,把眼睛轮廓线包围的区域称为眼睛区域,把眉毛轮廓线包围的区域称为眉毛区域,把鼻子轮廓线包围的区域称为鼻子区域,把嘴轮廓线包围的区域称为嘴区域,把脸部轮廓线所包围的除去眼睛、眉毛、鼻子、嘴区域以外的区域为脸部区域,这些区域均为待匹配区域,相互之间被由已匹配点组成的轮廓线分隔开,步骤4:在基准图像中,对眼睛待匹配区域、眉毛待匹配区域、鼻子待匹配区域、嘴待匹配区域,从每个待匹配区域的外边缘线开始,向区域内部,使用区域增长与动态规划相结合的算法,对区域内的待匹配像素点进行匹配:步骤4.1:在基准图像中选取鼻子待匹配区域的连续的单像素宽度的外边缘线l,步骤4.2:对外边缘线l上的每一个像素点pk,k=1,2,3......K,K为l上的像素点数,选取所有与pk相邻的已匹配点SLm,m=1,2,3......M,M为与pk 相邻的已匹配点数,令SLm与SLm在对准图中的匹配点SRm组成种子点对,根据区域增长算法原理,确定pk在对准图中的匹配点的搜索范围,步骤4.3:以l为动态规划算法的路径,使用动态规划算法,对l上的每一点pk,在对准图中已确定的搜索范围内寻找对应的匹配点,完成l的匹配,步骤4.4:重复执行步骤4.1、4.2、4.3,为基准图像中鼻子待匹配区域内的所有像素点在对准图像中找到对应的匹配点,步骤4.5:对眼睛待匹配区域、眉毛待匹配区域、嘴待匹配区域执行步骤4.1、4.2、4.3、4.4,为基准图像中眼睛待匹配区域、眉毛待匹配区域、嘴待匹配区内的所有像素点在对准图像中找到对应的匹配点,步骤5:在基准图像中,从脸部待匹配区域的外边缘线开始,向区域内部,使用区域增长与动态规划相结合的算法,对基准图像中脸部待匹配区域内的像素点进行匹配,随着匹配过程的进行,脸部待匹配区域不断向区域内部收缩,区域的外边缘会与眼睛、眉毛、鼻子、嘴的轮廓线相遇,据此将匹配过程分为两个阶段:从匹配过程开始直到脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线中的任意一条相遇为第一阶段,从脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线中的任意一条相遇之后直到整个匹配过程完成为第二阶段,步骤5.1:在第一阶段中,在基准图像中直接选取脸部待匹配区域的连续的单像素宽度的外边缘线l,在第二阶段中,脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线相遇后,以遇到的轮廓线为脸部待匹配区域的边界的一部分,与原有边界一起形成了新的脸部待匹配区域边界,沿着新的边界选取脸部待匹配区域的连续的单像素宽度的外边缘线l,步骤5.2:与步骤4.2相同,步骤5.3:与步骤4.3相同,步骤5.4:重复执行步骤5.1、5.2、5.3,为基准图像中脸部待匹配区域内的所有像素点在对准图像中找到对应的匹配点,步骤6:将每个基准图像中的像素点和该像素点在对准图像中对应的匹配点合称为一个匹配点对,根据步骤1得到的两台摄像机的内参数矩阵AL、AR和外参数矩阵[RL TL]、[RR TR],计算步骤4和步骤5得到的匹配点对所对应的人脸上的实际点的三维坐标,进而得到整个人脸的三维点云数据。
地址 210096江苏省南京市四牌楼2号