发明名称 三维手指影像运动分析系统与方法
摘要
申请公布号 TWI346311 申请公布日期 2011.08.01
申请号 TW097106361 申请日期 2008.02.22
申请人 国立成功大学 发明人 孙永年;张琼文;陈彦廷;何圣斌
分类号 G06T7/20 主分类号 G06T7/20
代理机构 代理人 蔡坤财 台北市中山区松江路148号11楼;李世章 台北市中山区松江路148号11楼
主权项 一种三维手指影像运动分析系统,至少包括:复数个标记点,设置于一标的手部,其中该标的手部具有一手掌部和复数个手指,每一该些手指具有至少一指节,每一该至少一指节之两端朝该手掌部的方向依序为一第一端和一第二端;复数个摄影机,分别设置于该标的手部附近之不同位置,其中该些摄影机具有不同视野(Views),并依序于复数个时间点分别撷取该标的手部的影像,而依序获得复数个影格(Frames)组,每一该些影格组具有分别对应至该些摄影机之复数个影格;一虚拟三维手指模型,用以模拟该标的手部之该些手指的运动;一影像特征撷取模组,用以根据rb色差(Cr-Chromiance)资讯来分别撷取出每一该些影格组之每一该些影格的复数个影像特征;一模型参数初始化模组,用以根据该些影像特征来初始化该虚拟三维手指模型于该些时间点之第一者时之复数个位置参数组和复数个方向参数组,并获得每一该些手指之每一该至少一指节的指节长度;一预测三维标记点资讯模组,至少包括:一标记点侦测与对应模组,用以根据该些位置参数组和该些方向参数组,并利用极线限制(Epipolar Constraint)和指节长度限制,来分别建立每一该些影格组之该些影格之多重视野间该些标记点的对应关系;一标记点追踪模组,用以使用一改良的平均移动(Mean-Shift)演算法来追踪每一该些影格组之每一该些影格之该些标记点的位置;以及一重构标记点三维资讯模组,用以使用一最小平方法(Least-Squares Method)来重构每一该些影格组之每一该些影格之该些标记点的三维资讯,而获得每一该些影格组的标记点三维资讯;以及一预测三维模型参数模组,用以根据每一该些影格组的标记点三维资讯,来定义在每一该些时间点之该虚拟三维手指模型的骨节座标系及模型参数。如申请专利范围第1项所述之三维手指影像运动分析系统,其中该些标记点至少包括:复数个第一标记点,设置于该手掌部上;复数个第二标记点,分别设置于每一该些手指之每一该至少一指节之该第一端;以及复数个第三标记点,分别设置于每一该些手指之每一该至少一指节之该第二端。如申请专利范围第2项所述之三维手指影像运动分析系统,其中该虚拟三维手指模型系使用一圆柱体来模拟每一该些手指之每一该至少一指节,并使用使用由一球体与一半球体所组成之一球臼型结构来模拟每一该些手指之每两相邻指节间的关节、和指节与该手掌部间的关节。如申请专利范围第2项所述之三维手指影像运动分析系统,其中该些第一标记点的数目为3个。如申请专利范围第1项所述之三维手指影像运动分析系统,其中该些影像特征至少包括:每一该些影格中之每一该些手指的前景区域与轮廓资讯、及每一该些标记点的前景区域。如申请专利范围第1项所述之三维手指影像运动分析系统,其中该重构标记点三维资讯模组系用以去除使用该改良的平均移动演算法所追踪到之错误的标记点位置。如申请专利范围第1项所述之三维手指影像运动分析系统,其中该预测三维模型参数模组至少包括:一粒子滤波器,用以整合每一该些影格组的标记点三维资讯和在其前一时间点之该虚拟三维手指模型的模型参数,来追踪在每一该些时间点时该虚拟三维手指模型的模型参数。如申请专利范围第1项所述之三维手指影像运动分析系统,其中该影像特征撷取模组、该模型参数初始化模组、该预测三维标记点资讯模组、及该预测三维模型参数模组系被安装于一个人电脑中。如申请专利范围第1项所述之三维手指影像运动分析系统,其中该些第一标记点间之其中两条连线系互相垂直,用以表示该手掌部的座标系。如申请专利范围第1项所述之三维手指影像运动分析系统,其中在该些时间点之第一者,该标的手部的手型定义为全指伸展。一种三维手指影像运动分析方法,至少包括:设置复数个标记点于一标的手部,其中该标的手部具有一手掌部和复数个手指,每一该些手指具有至少一指节,每一该至少一指节之两端朝该手掌部的方向依序为一第一端和一第二端;分别设置复数个摄影机于该标的手部附近之不同位置,其中该些摄影机具有不同视野;提供一虚拟三维手指模型,藉以模拟该标的手部之该些手指的运动;使用该些摄影机依序于复数个时间点分别撷取该标的手部的影像,而依序获得复数个影格组,每一该些影格组具有分别对应至该些摄影机之复数个影格;进行一影像特征撷取的步骤,藉以根据rb色差(Cr-Chromiance)资讯来分别撷取出每一该些影格组之每一该些影格的复数个影像特征;进行一模型参数初始化的步骤,藉以根据该些影像特征来初始化该虚拟三维手指模型于该些时间点之第一者时之复数个位置参数组和复数个方向参数组,并获得每一该些手指之每一该至少一指节的指节长度;进行一预测三维标记点资讯模组的步骤,至少包括:进行一标记点侦测与对应的步骤,藉以根据该些位置参数组和该些方向参数组,并利用极线限制和指节长度限制,来分别建立每一该些影格组之该些影格之多重视野间该些标记点的对应关系;进行一标记点追踪的步骤,藉以使用一改良的平均移动演算法来追踪每一该些影格组之每一该些影格之该些标记点的位置;以及进行一重构标记点三维资讯的步骤,藉以使用一最小平方法来重构每一该些影格组之每一该些影格之该些标记点的三维资讯,而获得每一该些影格组的标记点三维资讯;以及进行一预测三维模型参数的步骤,藉以根据每一该些影格组的标记点三维资讯,来定义在每一该些时间点之该虚拟三维手指模型的骨节座标系及模型参数。如申请专利范围第11项所述之三维手指影像运动分析方法,其中该设置该些标记点的步骤至少包括:设置复数个第一标记点于该手掌部上;分别设置复数个第二标记点于每一该些手指之每一该至少一指节之该第一端;以及分别设置复数个第三标记点于每一该些手指之每一该至少一指节之该第二端。如申请专利范围第12项所述之三维手指影像运动分析方法,其中该虚拟三维手指模型系使用一圆柱体来模拟每一该些手指之每一该至少一指节,并使用使用由一球体与一半球体所组成之一球臼型结构来模拟每一该些手指之每两相邻指节间的关节、和指节与该手掌部间的关节。如申请专利范围第12项所述之三维手指影像运动分析方法,其中该些第一标记点的数目为3个。如申请专利范围第11项所述之三维手指影像运动分析方法,其中该些影像特征至少包括:每一该些影格中之每一该些手指的前景区域与轮廓资讯、及每一该些标记点的前景区域。如申请专利范围第11项所述之三维手指影像运动分析方法,其中该重构标记点三维资讯的步骤至少包括:去除使用该改良的平均移动演算法所追踪到之错误的标记点位置。如申请专利范围第11项所述之三维手指影像运动分析方法,其中该预测三维模型参数的步骤至少包括:使用一粒子滤波器,以整合每一该些影格组的标记点三维资讯和在其前一时间点之该虚拟三维手指模型的模型参数,来追踪在每一该些时间点时该虚拟三维手指模型的模型参数。如申请专利范围第11项所述之三维手指影像运动分析方法,其中该些第一标记点间之其中两条连线系互相垂直,用以表示该手掌部的座标系。如申请专利范围第11项所述之三维手指影像运动分析方法,其中在该些时间点之第一者,该标的手部的手型定义为全指伸展。
地址 台南市东区大学路1号