发明名称 基于体感相机Kinect的真实感动画生成方法
摘要 本发明属于计算机视觉和计算机图形学领域。为提供实现既能保证生成新视频序列的逼真可信,又能解决实验设备要求高的难点的方法。为此,本发明采取的技术方案是,基于体感相机Kinect的真实感动画生成方法,利用单个Kinect v2.0对人物进行静态三维模型和彩色深度骨架信息的采集。利用无标记运动捕捉方法,得到每帧的骨架运动信息和变形后的三维模型。用户指定一个新动作后,基于所建立的数据集,通过所提出的基于稀疏表示的低秩矩阵填充的纹理合成方法生成该人物做新动作的视频。本发明主要应用于视频处理。
申请公布号 CN104915978A 申请公布日期 2015.09.16
申请号 CN201510341839.6 申请日期 2015.06.18
申请人 天津大学 发明人 李坤;杨敬钰;刘雷杰;宋晓林
分类号 G06T13/40(2011.01)I 主分类号 G06T13/40(2011.01)I
代理机构 天津市北洋有限责任专利代理事务所 12201 代理人 刘国威
主权项 一种基于体感相机Kinect的真实感动画生成方法,其特征是,利用单个Kinect v2.0对人物进行静态三维模型和彩色深度骨架信息的采集。利用无标记运动捕捉方法,得到每帧的骨架运动信息和变形后的三维模型,用户指定一个新动作后,基于所建立的数据集,通过所提出的基于稀疏表示的低秩矩阵填充的纹理合成方法生成该人物做新动作的视频;具体包括以下步骤:1)基于Kinect Fusion的方法对人物进行静态的三维模型的重建,并在这个模型即参考姿态模型的基础上,手动嵌入骨架;2)数据库建立:采用单个Kinect v2.0相机捕捉该人物进行各种基本动作时的彩色视频、深度视频和对应的骨架序列;利用IK(inverse kinematics)算法计算各帧骨架节点的运动参数;采用线性混合蒙皮方法(linear blend skinning)计算皮肤权重并变形参考姿态模型得到每帧对应的三维模型;采用深度信息矫正变形后的模型使之更加准确;数据集只需要建立一次,基于此数据库可以生成该人物的新动作的视频序列;3)用户指定新的动作的骨架序列,该骨架的拓扑结构与数据集中骨架的拓扑结构相同;4)为新目标动作的每帧在数据集中寻找相似的候选帧;5)利用移动最小二乘方法把检索到的帧的人体部分进行形变得到最初估计,然后利用加权低秩矩阵填补插值方法进行优化;6)将步骤5)得到的最终图像放在一起得到要求的新视频序列。
地址 300072 天津市南开区卫津路92号