一种基于惯性和深度视觉的实时三维场景重构系统及方法

摘要

本发明公开了一种基于惯性和深度视觉的实时三维场景重构系统及方法，利用IMU传感器在短时间内通过积分计算所得的相对位移和相对姿态变化相对准确的特点，将IMU的ΔP^IMU可以作为一个近似真实值与ΔP^RGB和ΔP^D比较。如果ΔP^RGB与ΔP^IMU相差超过一定的阈值，则可认为RGB相机通过跟踪连续帧上的特征所计算的相对位置和姿态变化不够精确，同理，如果ΔP^D与ΔP^IMU相差超过一定的阈值，则可认为通过ICP算法对对连续帧的点云匹配所求得的相对位置和姿态变化不够精确，再根据比较结果进行数据融合，实时估计设备的相对位置和姿态变化，从而提高三维场景重构的精确度，提高设备的容错性。

主权项

一种基于惯性和深度视觉的实时三维场景重构系统，其特征在于：包括IMU惯性传感器算法子模块(1)，RGB相机算法子模块(2)，深度D相机算法子模块(3)，比较及数据融合模块(4)和三维点云生成模块(5)；所述IMU惯性传感器算法子模块(1)、RGB相机算法子模块(2)、深度D相机算法子模块(3)分别与比较及数据融合模块(4)电连接，所述比较及数据融合模块(4)与三维点云生成模块(5)电连接；所述IMU惯性传感器算法子模块(1)、RGB相机算法子模块(2)、深度D相机算法子模块(3)分别用于采集k及k+1时刻系统的相对位置及姿态，并发送给比较及数据融合模块(4)；所述比较及数据融合模块(4)用于进行IMU惯性传感器算法子模块(1)与RGB相机算法子模块(2)、IMU惯性传感器算法子模块(1)与深度D相机算法子模块(3)所采集相对位置及姿态同预设阈值的比较，并根据比较结果进行数据融合，校正系统相对位置及姿态的偏差并发送给三维点云生成模块(5)；所述三维点云生成模块(5)用于根据比较及数据融合模块(4)得到的系统相对位置及姿态信息，利用Kinect Fusion算法生成三维点云，进行实时三维环境重建。