基于小波变换的单相机视频三维重建方法

摘要

本发明属于计算机多媒体技术领域。为提供一种精确鲁棒的单相机视频三维重建方法，更加精确地重建非刚性物体形状和相机运动，本发明采取的技术方案是，一种基于小波变换的单相机视频三维重建方法，包括以下步骤：1)手持一台相机围绕一个运动物体运动，同时采集一段视频；2)采用KLT特征点跟踪方法计算每一帧图像的对应特征点；3)选取跟踪时间最长即所对应的帧图像最多的n个对应特征点；4)计算由步骤3)得到的n个对应特征点所在的帧图像，并依照所含对应特征点多、图像之间间隔均匀的原则选取m幅帧图像；5)建立观测矩阵6)基于小波变换将观测矩阵W分解；7)计算各个时刻的三维点云。本发明主要应用于视频三维重建。

主权项

1.一种基于小波变换的单相机视频三维重建方法，其特征在于该方法包括以下步骤：1）手持一台相机围绕一个运动物体运动，同时采集一段视频； 2）采用KLT特征点跟踪方法计算每一帧图像的对应特征点，KLT为Kanade-Lucas-Tomasi字头缩写； 3）选取跟踪时间最长即所对应的帧图像最多的n个对应特征点； 4）计算由步骤3）得到的的n个对应特征点所在的帧图像，并依照所含对应特征点多、图像之间间隔均匀的原则选取m幅帧图像； 5）建立观测矩阵W，W为2m×n的矩阵，其中矩阵每一列为一个对应特征点在m幅帧图像上的对应像素位置，矩阵每两行为一幅帧图像上n个特征点对应的像素坐标(x,y)； 6）基于小波变换将观测矩阵W分解为的形式，其中M为2m×3r的运动矩阵，S为3r×n的形状基矩阵，r为形状基的个数，t为W的平均列向量，1为n维元素都为1的向量，D为2m×3m的对角矩阵，对角线元素为m个帧图像所对应视角的2×3的旋转矩阵，Ω为m×d的截断的小波基函数矩阵，d为截断后的小波基个数，X为d×r的矩阵，是形状轨迹在小波基表示下的系数，I₃为3×3的单位矩阵，表示矩阵的Kronecker乘法，(·)^T表示矩阵的转置；7）计算各个时刻的三维点云，即动态三维点云