使用深度图的实时相机跟踪

摘要

描述了使用深度图的实时相机跟踪。在一实施例中，深度图的帧由移动深度相机按每秒超过20帧来捕捉，且被用于实时地动态更新指定移动深度相机已经如何移动的一组配准参数。在各示例中，实时相机跟踪输出被用于计算机游戏应用和机器人技术。在一示例中，迭代最近点过程与投影数据关联以及点到面的误差度量一起使用，以便计算经更新的配准参数。在一示例中，图形处理单元(GPU)实现被用于实时地优化误差度量。在某些实施例中，使用移动相机环境的密集3D模型。

主权项

一种实时相机跟踪的方法，包括：从正在移动的移动深度相机(302)接收深度图帧(314)的序列，每一深度图帧包括每一图像元素处的深度值，该深度值与从所述移动深度相机到由所述移动深度相机所捕捉的场景中的表面的距离有关；通过计算每一深度图帧的配准参数(328、414)来跟踪所述移动深度相机的位置和定向，这些配准参数是用于将每一深度图帧和在先深度图帧对齐的变换的参数；其中，计算所述配准参数包括使用迭代过程(412)用于：标识成对的深度图帧的相应点(502)而不计算所述深度图帧内所描绘的形状，且通过使用并行计算单元来优化应用于所标识的相应点的误差度量，使得所述误差度量被并行地应用于所标识的相应点中的每一个。