使用深度图进行移动式摄影机定位

摘要

本发明涉及使用深度图进行移动式摄影机定位。针对机器人、沉浸式游戏、增强现实和其他应用描述了使用深度图进行移动式摄影机定位。在一实施例中，在一环境中追踪移动深度摄影机，同时使用所感测的深度资料形成该环境的3D模型。在一实施例中，当摄影机追踪失败时，藉由使用先前收集的关键框幅或以其他方式来侦测摄影机追踪的失败并重新定位摄影机。在一实施例中，藉由即时地将当前深度图与该3D模型的特征进行比较，侦测到移动式摄影机重新存取一位置的回路封闭(loop closure)。在一些实施例中，使用所侦测到的回路封闭来改善该环境的3D模型的一致性和精确度。

主权项

一种即时摄影机重新定位的方法，该方法包括以下步骤：从正在移动的一移动深度摄影机接收一序列之深度图框幅，每个深度图框幅包括复数个图像元素，每个图像元素具有一深度值，该深度值与从该移动深度摄影机到由该移动深度摄影机所撷取的场景中的一表面的一距离有关；使用该等深度图框幅追踪该移动深度摄影机的位置和定向，并使用该等深度图框幅同时形成该移动深度摄影机正在其中移动的环境的一3D模型；侦测一回路封闭误差；回应于侦测该回路封闭误差，修改该3D模型；侦测对该移动深度摄影机的该位置和定向的该追踪中的一失败；及重新定位该移动深度摄影机，该重新定位步骤系藉由使用由该移动深度摄影机所撷取的一当前深度图来重新计算该移动深度摄影机的位置和定向，重新定位该移动深度摄影机之步骤包含：在给定该移动深度摄影机的已知先前动作的情况下，计算该移动深度摄影机姿势的一路径分布为一所预测姿势分布；从该路径分布取样一姿势，并使用该经取样姿势来对准该当前深度图及一先前深度图，或者重新定位该移动深度摄影机之步骤包含：对该当前深度图的各小块(patch)和从该环境的该3D模型获得的复数个先前深度图的各小块应用一随机决策树林以获得基元(texton)的长条图，该等基元为一深度图的纹理特征，并且以该等长条图为准来选取类似于该当前深度图的一先前深度图。