使用深度图进行移动相机定位

摘要

本发明涉及使用深度图进行移动相机定位。针对机器人、沉浸式游戏、增强现实和其他应用描述了使用深度图进行移动相机定位。在一实施例中，在一环境中跟踪移动深度相机，同时使用所感测的深度数据形成该环境的3D模型。在一实施例中，当相机跟踪失败时，通过使用先前收集的关键帧或以其他方式来检测相机跟踪的失败并重新定位相机。在一实施例中，通过实时地将当前深度图与该3D模型的特征进行比较，检测到移动相机重新访问一位置的环闭合(loop closure)。在一些实施例中，使用所检测到的环闭合来改善该环境的3D模型的一致性和精确度。

主权项

一种实时相机重新定位的方法，包括：从正在移动的移动深度相机接收深度图帧的序列，每个深度图帧包括多个图像元素，每个图像元素具有与从所述移动深度相机到由所述移动深度相机所捕捉的场景中的表面的距离有关的深度值；使用所述深度图帧跟踪所述移动深度相机的位置和定向，并使用所述深度图帧同时形成所述移动深度相机正在其中移动的环境的3D模型；检测对所述移动深度相机的位置和定向的跟踪中的失败；以及通过使用由所述移动深度相机所捕捉的当前深度图重新计算所述移动深度相机的位置和定向来重新定位所述移动深度相机；重新定位所述移动深度相机包括：在给出所述移动深度相机的已知先前运动的情况下，计算作为姿势的预测分布的所述移动深度相机的姿势的路径分布；从所述路径分布采样姿势并使用所采样的姿势来将所述当前深度图和先前深度图对齐，或者重新定位所述移动深度相机包括：将随机决策树林应用到来自所述当前深度图和来自从所述环境的3D模型获得的多个先前深度图的小块以获得作为深度图的纹理特征的基元的直方图，并根据所述直方图选择与所述当前深度图类似的先前深度图。