发明名称 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法
摘要 本发明所要解决的技术问题是提供一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法,包括以下步骤:标定摄像头的内参数、初始化位姿估计、从摄像头中读取当前帧图像同时从重力感应器中读取信号、由单目视觉运动估计算法得到当前帧图像与前一帧图像之间摄像头的运动参数、用<img file="798924DEST_PATH_IMAGE001.GIF" wi="24" he="24" />在<img file="382352DEST_PATH_IMAGE002.GIF" wi="24" he="24" />中的姿态即倾斜角<img file="835330DEST_PATH_IMAGE003.GIF" wi="45" he="24" />和和滚动角<img file="555025DEST_PATH_IMAGE004.GIF" wi="36" he="24" />构成卡尔曼滤波器的状态矢量、从滤波估计得到的<img file="DEST_PATH_IMAGE005.GIF" wi="12" he="42" />中解算出当前帧图像时刻<img file="57593DEST_PATH_IMAGE001.GIF" wi="24" he="24" />在<img file="128318DEST_PATH_IMAGE002.GIF" wi="24" he="24" />中的姿态、然后得到的位姿。此融合位姿估计方法简单,可以在资源有限的移动设备上应用。此方法仅依赖智能移动设备普遍配置的单个摄像头与重力感应器,可以基于此位姿估计方法开发出多种新型的移动设备应用,如增强现实、局部地图导航、3D游戏等。
申请公布号 CN103900473A 申请公布日期 2014.07.02
申请号 CN201410124679.5 申请日期 2014.03.31
申请人 浙江大学 发明人 黄鸿;刘勇
分类号 G01B11/00(2006.01)I;G01B11/26(2006.01)I 主分类号 G01B11/00(2006.01)I
代理机构 浙江杭州金通专利事务所有限公司 33100 代理人 刘晓春
主权项 1.一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法,其特征在于,所述方法基于智能移动设备的摄像头与重力感应器,包括如下步骤:步骤一、标定摄像头的内参数;标定重力感应器坐标系<img file="511414DEST_PATH_IMAGE001.GIF" wi="20" he="42" />相对于摄像头坐标系<img file="62481DEST_PATH_IMAGE002.GIF" wi="24" he="42" />的相对旋转矩阵<img file="65072DEST_PATH_IMAGE003.GIF" wi="19" he="42" />;<img file="650774DEST_PATH_IMAGE001.GIF" wi="20" he="42" />是固联于重力感应器上并随重力感应器一起运动的三维坐标系;<img file="815039DEST_PATH_IMAGE002.GIF" wi="24" he="42" />是固联于摄像头上并随摄像头一起运动的三维坐标系;重力感应器和摄像头都固定在智能移动设备上之后,<img file="56665DEST_PATH_IMAGE001.GIF" wi="20" he="42" />与<img file="677262DEST_PATH_IMAGE002.GIF" wi="24" he="42" />之间的相对旋转和相对平移是固定的,<img file="55154DEST_PATH_IMAGE001.GIF" wi="20" he="42" />与<img file="655900DEST_PATH_IMAGE002.GIF" wi="24" he="42" />之间的相对旋转用相对旋转矩阵<img file="181559DEST_PATH_IMAGE003.GIF" wi="19" he="42" />描述;步骤二、初始化位姿估计,包括:确定全局坐标系<img file="525953DEST_PATH_IMAGE004.GIF" wi="24" he="42" />;从初始时刻智能移动设备的摄像头中读取图像并读取重力感应器信息;得到<img file="23930DEST_PATH_IMAGE002.GIF" wi="24" he="42" />在<img file="529998DEST_PATH_IMAGE004.GIF" wi="24" he="42" />中的初始位姿;步骤三、从摄像头中读取当前帧图像,同时从重力感应器中读取信号;由单目视觉运动估计算法得到当前帧图像与前一帧图像之间摄像头的运动参数,运动参数包括前一帧图像时刻的<img file="808532DEST_PATH_IMAGE002.GIF" wi="24" he="42" />相对当前帧图像时刻<img file="691038DEST_PATH_IMAGE002.GIF" wi="24" he="42" />的相对平移<img file="43522DEST_PATH_IMAGE005.GIF" wi="9" he="42" />和相对旋转<img file="782807DEST_PATH_IMAGE006.GIF" wi="23" he="42" />,然后结合前一帧图像时刻<img file="220742DEST_PATH_IMAGE002.GIF" wi="24" he="42" />在<img file="906938DEST_PATH_IMAGE004.GIF" wi="24" he="42" />中的位姿和当前计算的运动参数得到当前帧图像时刻<img file="176246DEST_PATH_IMAGE002.GIF" wi="24" he="42" />在<img file="289695DEST_PATH_IMAGE004.GIF" wi="24" he="42" />中的位姿;从获取的重力感应器信号得到重力加速度在<img file="214926DEST_PATH_IMAGE001.GIF" wi="20" he="42" />中的矢量表示<img file="501551DEST_PATH_IMAGE007.GIF" wi="19" he="42" />,再用<img file="828627DEST_PATH_IMAGE003.GIF" wi="19" he="42" />得到重力加速度在<img file="112978DEST_PATH_IMAGE002.GIF" wi="24" he="42" />中的矢量表示<img file="322242DEST_PATH_IMAGE008.GIF" wi="20" he="42" />,其中,<img file="350241DEST_PATH_IMAGE009.GIF" wi="89" he="42" />;步骤四、用<img file="531824DEST_PATH_IMAGE002.GIF" wi="24" he="42" />在<img file="49393DEST_PATH_IMAGE004.GIF" wi="24" he="42" />中的姿态即倾斜角<img file="949215DEST_PATH_IMAGE010.GIF" wi="45" he="42" />和和滚动角<img file="515326DEST_PATH_IMAGE011.GIF" wi="36" he="42" />构成卡尔曼滤波器的状态矢量<img file="613732DEST_PATH_IMAGE012.GIF" wi="212" he="62" />,得到关于<img file="239885DEST_PATH_IMAGE013.GIF" wi="12" he="42" />的卡尔曼滤波器状态方程和观测方程,将步骤三得到的<img file="361425DEST_PATH_IMAGE006.GIF" wi="23" he="42" />用于卡尔曼滤波器状态预测,将步骤三得到的<img file="793544DEST_PATH_IMAGE008.GIF" wi="20" he="42" />用于卡尔曼滤波器观测;步骤五、结合步骤四中的卡尔曼滤波器预测和观测进行卡尔曼滤波估计,然后从滤波估计得到的<img file="949718DEST_PATH_IMAGE013.GIF" wi="12" he="42" />中解算出当前帧图像时刻<img file="746773DEST_PATH_IMAGE002.GIF" wi="24" he="42" />在<img file="417926DEST_PATH_IMAGE004.GIF" wi="24" he="42" />中的姿态即倾斜角<img file="325839DEST_PATH_IMAGE010.GIF" wi="45" he="42" />和和滚动角<img file="336520DEST_PATH_IMAGE011.GIF" wi="36" he="42" />;步骤六、用步骤五解算的姿态替换步骤三解算的当前帧图像时刻<img file="366793DEST_PATH_IMAGE002.GIF" wi="24" he="42" />在<img file="462925DEST_PATH_IMAGE004.GIF" wi="24" he="42" />中的位姿信息中的姿态,然后得到的位姿即是融合后的六自由度当前帧图像时刻<img file="174529DEST_PATH_IMAGE002.GIF" wi="24" he="42" />在<img file="367613DEST_PATH_IMAGE004.GIF" wi="24" he="42" />中的位姿,即得到融合了摄像头与重力感应器的智能移动设备的位姿估计;循环的执行步骤三到步骤六即持续的估计智能移动设备的位姿。
地址 310027 浙江省杭州市西湖区浙大路38号