发明名称 多重摄影机控制系统
摘要 本发明揭示一种多重摄影机追踪系统,其用以介接在电脑上执行之应用程式。本追踪系统包含二或多个影像摄影机,其系配置以提供有兴趣区域之各种视点,并可操作产生一系列的视讯影像。一处理器可操作以接收该系列视讯影像,并侦测有兴趣区域中出现之物体。该处理器可执行下列处理:自视讯影像产生背景资料集;对各接收之视讯影像产生影像资料集;比较各影像资料集与背景资料集,产生对各影像资料集之差异图;侦测在各差异图中目标物之相对位置;以及自目标物之相对位置产生目标物之绝对位置,并将绝对位置映至与应用相连之位置指标。
申请公布号 TW543323 申请公布日期 2003.07.21
申请号 TW090124363 申请日期 2001.10.02
申请人 杰斯泰克公司 发明人 伊凡 希尔卓斯;法兰西斯 马可道高
分类号 H04N5/225 主分类号 H04N5/225
代理机构 代理人 陈长文 台北市松山区敦化北路二○一号七楼
主权项 1.一种目标物之追踪方法,该方法包括:取得代表目标物之不同观点之第一影像及第二影像;将第一影像处理为第一影像资料集,并将第二影像处理为第二影像资料集;处理第一影像资料集与第二影像资料集以产生一与背景有关之背景资料集;藉由决定第一影像资料集与背景资料集间之差异而产生第一差异图,以及藉由决定第二影像资料集与背景资料集间之差异决定产生第二差异图;侦测在第一差异图中目标物之第一相对位置,以及在第二差异图中目标物之第二相对位置;以及产生自目标物之第一及第二相对位置距离目标物之绝对位置。2.如申请专利范围第1项之方法,其中将第一影像处理为第一影像资料集以及将第二影像处理为第二影像资料集的步骤包括决定第一及第二影像之活动影像区,以及自在活动影像区内之第一及第二影像撷取活动影像资料集。3.如申请专利范围第2项之方法,其中撷取活动影像资料集包括割除(cropping)第一及第二影像。4.如申请专利范围第2项之方法,其中撷取活动影像资料集包括转动第一及第二影像。5.如申请专利范围第2项之方法,其中撷取活动影像资料集包括剪裁第一及第二影像。6.如申请专利范围第2项之方法,其中撷取活动影像资料集包括将活动影像资料集配置为含列与行之影像像素阵列。7.如申请专利范围第6项之方法,其中撷取活动影像资料集更包括辨识在各影像像素阵列行范围内之最高像素値;以及产生具一列之资料集,藉此各行已辨识之最高像素値系表该行。8.如申请专利范围第1项之方法,其中将第一影像处理为第一影像资料集以及将第二影像处理为第二影像资料集包括对第一及第二影像之筛选。9.如申请专利范围第8项之方法,其中该筛选包括在第一及第二影像边缘之撷取。10.如申请专利范围第8项之方法,其中该筛选更包括对第一影像资料集以及第二影像资料集之处理,俾强调第一影像资料集与背景资料集之差异,以及强调第二影像资料集与背景资料集之差异。11.如申请专利范围第1项之方法,其中对第一影像资料集以及第二影像资料集之处理产生背景资料集,包括产生第一组一或多组与第一影像资料集有关之背景资料集,以及产生第二组一或多组与第二影像资料集有关之背景资料集。12.如申请专利范围第11项之方法,其中产生第一组一或多组背景资料集,包括在代表背景之第一影像资料集范围内,产生代表最大资料値之第一背景组,以及产生第二组一或多组背景资料集,可包括在代表背景之第二影像资料集范围内,产生代表最大资料値之第二背景组。13.如申请专利范围第12项之方法,其中该产生更包括对代表表示背景之资料最大値之第一及第二背景集,以一预定値增加在第一及第二背景集范围内之値。14.如申请专利范围第11项之方法,其中产生第一组一或多组背景资料集,包括在代表背景之第一影像资料集范围内,产生代表最小资料値之第一背景组,以及产生第二组一或多组背景资料集,可包括在代表背景之第二影像资料集范围内,产生代表最小资料値之第二背景组。15.如申请专利范围第14项之方法,其中该产生更包括对代表表示背景之资料最小値之第一及第二背景集,以一预定値增加在第一及第二背景集范围内之値。16.如申请专利范围第11项之方法,其中产生第一组背景资料集,包括取样第一影像资料集,以及产生第二组背景资料集包括取样第二影像资料集。17.如申请专利范围第16项之方法,其中产生第一组一或多组背景资料集,可包括在保持在各背景资料集范围内之第一影像资料集之多重取样,以及产生第二组一或多组背景资料集可包括在保持在各背景资料集范围内之第二影像资料集之多重取样。18.如申请专利范围第17项之方法,其中产生各第一背景资料集,可包括自多重取样中选择代表在第一影像资料集范围内之各单元背景之单一値,以及产生各第二背景资料集可包括自多重取样中选择代表在第二影像资料集范围内之各单元背景之单一値。19.如申请专利范围第18项之方法,其中该选择包括自各背景资料集中所有的取样値中选择中间値。20.如申请专利范围第16项之方法,其中该取样系于预定时段间自动发生,其中各取样可包括与背景无关之资料。21.如申请专利范围第1项之方法,其中该产生包括对第一影像资料集与背景资料集之次集之比较,以及对第二影像资料集与背景资料集之次集之比较。22.如申请专利范围第1项之方法,其中产生第一差异图,更包括将在第一影像资料集中各单元表为两种状态之一,以及产生第二差异图更包括将在第二影像资料集中各单元表为两种状态之一,其中的两种状态系表示该値是否与该背景相容。23.如申请专利范围第1项之方法,其中该侦测包括对在第一及第二差异图中丛集之辨识,其中各丛集均具本身状态在其相关差异图范围内之单元,指示与背景不相容之单元。24.如申请专利范围第23项之方法,其中辨识丛集更包括将差异图降至一列,此系藉由计算在与背景不相容之行范围内之单元为之。25.如申请专利范围第24项之方法,其中辨识丛集更包括辨识行在丛集范围内,以及将邻近行归类在丛集内。26.如申请专利范围第25项之方法,其中辨识行在丛集范围内亦包括辨识中间行。27.如申请专利范围第23项之方法,其中辨识丛集更包括辨识与丛集有关之位置。28.如申请专利范围第27项之方法,其中辨识与丛集有关之位置包括计算在丛集内单元之加权平均数。29.如申请专利范围第23项之方法,其中侦测更包括归类丛集为目标物。30.如申请专利范围第29项之方法,其中归类丛集更包括计算在丛集内之单元,而仅在计数超出预定临界値时,始归类丛集为目标物。31.如申请专利范围第29项之方法,其中归类丛集更包括计算在丛集内之单元,以及计算经归类为与差异图内背景不相容之单元总数,而仅有在丛集内之单元数对单元总数比超出预定临界値时,始归类丛集为目标物。32.如申请专利范围第23项之方法,其中侦测步骤更包括对在丛集内之次丛集之辨识,其系表示目标物之指标端,以及对目标物位置之辨识。33.如申请专利范围第1项之方法,其中目标物系使用者的手。34.如申请专利范围第1项之方法,更包括利用目标物之绝对位置来控制应用。35.如申请专利范围第1项之方法,更包括:取得代表不同观点之目标物之第三影像及第四影像;将第三影像处理为第三影像资料集,并将第四影像处理为第四影像资料集;对第三影像资料集与第四影像资料集之处理,产生与背景有关之背景资料集;由第三影像资料集与背景资料集间之差异决定产生第三差异图,以及由第四影像资料集与背景资料集间之差异决定产生第四差异图;对在第三差异图中目标物之第三相对位置,以及在第四差异图中目标物之第四相对位置之侦测;以及自目标物之第一、第二、第三及第四相对位置产生目标物之绝对位置。36.如申请专利范围第35项之方法,其中目标物系使用者的手。37.如申请专利范围第35项之方法,更包括利用目标物之绝对位置来控制应用。38.一种利用使用者做为与电脑之介面来控制追踪目标物之方法,该方法包括:自至少两观点取得影像;处理所取得之影像,产生各取得影像之影像资料集;将各影像资料集与一或多组背景资料集做比较,产生对各取得影像之差异图;对在各差异图中目标物之相对位置侦测;自目标物之相对位置产生目标物之绝对位置;以及利用绝对位置使得使用者可与电脑应用互动。39.如申请专利范围第38项之方法,更包括:将目标物之绝对位置映至与电脑应用有关之萤幕座标;以及利用映对位置做为与电脑应用之介面。40.如申请专利范围第38项之方法,更包括:藉由对目标物绝对位置变化之分析来组织与目标物有关之手势;以及将绝对位置及手势合并成为与电脑应用之介面。41.一种与在电脑上执行之应用程式有所介接之多重摄影机追踪系统,该追踪系统包括:二或多个影像摄影机,其配置使其可提供所欲之各种观点,并可操作产生一系列的视讯影像;一处理器,其可操作接收该系列视讯影像,并侦测在目标区域中出现之物体,该处理器可执行下列处理:自视讯影像产生背景资料集;对各接收之视讯影像产生影像资料集;比较各影像资料集与背景资料集,产生对各影像资料集之差异图;侦测在各差异图中目标物之相对位置;以及自目标物之相对位置产生目标物之绝对位置,并将绝对位置映至与应用相连之位置指标。42.如申请专利范围第41项之多重摄影机追踪系统,其中目标物可为人手。43.如申请专利范围第41项之多重摄影机追踪系统,其中目标区系定为与电脑连结之摄影显示前方,以及其中该处理器更可操作将目标物之绝对位置映至位置指标,使得摄影显示上的位置指标位置对准目标物。44.如申请专利范围第41项之多重摄影机追踪系统,其中目标区系定在与电脑连结之摄影显示前方任何距离处,以及其中该处理器更可操作将目标物之绝对位置映至位置指标,使得摄影显示上的位置指标位置对准由目标物所指位置。45.如申请专利范围第41项之多重摄影机追踪系统,其中目标区可定在与电脑连结之摄影显示前方任何距离处,以及其中该处理器可操作将目标物之绝对位置映至位置指标,使得目标物之移动尺度与在摄影显示上的位置指标之较大位移一致。46.如申请专利范围第41项之多重摄影机追踪系统,其中该处理器更可配置成模拟一电脑滑鼠功能。47.如申请专利范围第41项之多重摄影机追踪系统,其中该处理器更可配置成利用自目标物之移动推估之手势而模拟一电脑滑鼠之控制按键。48.如申请专利范围第41项之多重摄影机追踪系统,其中对一预定期间内可容忍之目标物位置可由应用程式内之选择动作触发之。49.如申请专利范围第41项之多重摄影机追踪系统,其中处理器更可配置成基于对一预定期间内可容忍之目标物位置而与电脑滑鼠控制按键相仿。50.如申请专利范围第41项之多重摄影机追踪系统,其中对一预定期间内,在交互作用显示区边界内之可容忍目标物位置可由应用程式内之选择动作触发之。51.如申请专利范围第41项之多重摄影机追踪系统,其中该处理器可配置成基于对一预定期间内,在交互作用显示区边界内之位置指标可容忍位置而与电脑滑鼠控制按键相仿。52.如申请专利范围第41项之多重摄影机追踪系统,其中该背景资料集包括以至少部分静态结构表示之资料点。53.如申请专利范围第52项之多重摄影机追踪系统,其中至少部分静态结构包括一摄影机可见之图样化表面。54.如申请专利范围第52项之多重摄影机追踪系统,其中该静态结构系一窗形框架。55.如申请专利范围第52项之多重摄影机追踪系统,其中该静态结构包括一串光线。56.一种与在电脑上执行之应用程式有所连结之多重摄影机追踪系统,该追踪系统包括:二或多个影像摄影机,其配置使其可提供所欲之各种观点,并可操作产生一系列的视讯影像;一处理器,其可操作接收该系列视讯影像,并侦测在目标区域中出现之物体,该处理器可执行下列处理:自视讯影像产生背景资料集;对各接收之视讯影像产生影像资料集;比较各影像资料集与背景资料集,产生对各影像资料集之差异图;侦测在各差异图中目标物之相对位置;自目标物之相对位置产生目标物之绝对位置;定出目标区内之次区域;辨识为目标物占据之次区域;当目标物占据所辨识之次区域时,即启动与所辨识之次区域有关的动作;以及将该动作与应用程式交互作用。57.如申请专利范围第56项之多重摄影机追踪系统,其中目标物可为人手。58.如申请专利范围第56项之多重摄影机追踪系统,其中与该所辨识之次区域有关的动作可模拟和应用程式连结之键盘键之启动。59.如申请专利范围第56项之多重摄影机追踪系统,其中对一预定期间内,在任何次区域内之可容忍目标物位置可由动作触发之。图式简单说明:图1所示系多重摄影机系统之典型施行硬体部件及其典型实际布局。图2A所示系图1之摄影机与各式影像区间之典型几何关系。图2B所示系由图1摄影机之一所捕捉之典型影像。图3所示处理流程图,其典型系在与多重摄影机系统连结之微电脑程式内执行。图4所示系图3所示部分处理之细部流程图,尤其是物体之侦测及其自摄影机所捕捉之影像信号撷取之位置的处理。图5A所示系自部分图4所示处理产生以及由摄影机取得之取样影像资料,示如灰阶点图影像。图5B所示系自部分图4所示处理产生之取样影像资料,示如灰阶点图影像。图5C所示系自部分图4所示处理产生之取样影像资料,示如灰阶点图影像。图5D所示系自部分图4所示处理产生之取样影像资料,示如灰阶点图影像。图5E所示系自部分图4所示处理产生之取样资料,示如灰阶点图影像;辨识在取样中追踪而概属于物体之像素。图6所示系图4所示部分处理之细部流程图,尤其是包含于像素图所给定之物体的处理,其中该像素图系概属于所追踪之物体而辨认之像素,例如图5E所示资料。图7A所示系图5E之取样资料,其系以二元点图影像示之,而图6所示资料取样之辨识处理已在此取样中选取与物体有关者。图7B所示系图5E之取样资料,其系以条状图示之,而图6所示资料取样之辨识处理已在此图中经辨识之特殊点中选取与物体有关者。图7C所示系取样资料差分集,其系以二进位位元图影像示之,而图6所示资料取样之辨识处理已在此取样中经选择为与物体及物体之关键部位有关者。图8所示系图4所示部分处理之细部流程图,尤其是包含于物体挡住之背景区的描述之产生及维持之处理。图9A所示系基于方程式3之几何图形,亦即在摄影机视野内部分物体限定之角度,其系由物体被感侧处之影像平面位置所给定。图9B所示系基于方程式4.5及6之几何图形,亦即摄影机位置与被追踪物体间的关系。图10所示系方程式8之说明图,亦即可将该抑制量施予物体位置改变所给定之座标,俾做位置微调。图11A系受控于系统之应用程式示例,其中目标物控制萤幕指标于二维空间中。图11B所示系在实际座标与萤幕座标间之应对,其利用图11A中的应用程式为之。图12A及12B系受控于多重摄影机控制系统之应用程式示例,其中目标物控制萤幕指标于三维虚拟实境环境中。图13A所示系利用手势侦测法,将目标区分割为侦测面,以辨识与所欲启动有关之手势。图13B所示系利用手势侦测法,将目标区分割为侦测箱,以辨识与所选之游标方向有关之手势。图13C所示系另一利用手势侦测法,将目标区分割为侦测箱,以辨识与所选之游标方向有关之手势。图13D系对图13C之相邻分割关系的细部描述。
地址 美国