增强现实中定标板的实时移除方法

摘要

增强现实中定标板的实时移除方法，是在现有基于定标板的增强现实系统上，利用图像修复的方法实时修补移除定标板后的画面空洞。修复方法包括以下步骤：利用相机定标获得定标板在视频画面中的位置,确定待修复的区域；计算线特征图像，与视频当前帧图像合并为纹理图像；对该纹理图像的非修复区域建立纹理块样本库；对待修复区域的边界像素,利用邻域纹理块到纹理块样本库进行匹配；将匹配得到的纹理块中心点颜色赋值为当前边界像素；判断是否完成了所有待修复区域的修补，若是，则结束修复，若否，对所剩待修复区域的边界像素继续上述修补步骤；最后，以上一帧修复结果和当前帧修复结果为邻域，对当前帧的修复结果进行双边滤波。

主权项

增强现实中定标板的实时移除方法，包括以下步骤：1)、从摄像机设备中获取当前帧图像I，将该图像二值化；2)、从二值化图像中检测定标板的二维位置，将定标板四条边界围成的四边形定义为定标板区域Rm；3)、根据定标板的二维位置，计算摄像机相对于该定标板的三维位置和朝向，即相机参数；4)、根据相机参数绘制虚拟物体：利用OpenGL绘制函数，对虚拟物体的三维网格进行投影变换，再使用Phong模型进行真实感绘制，得到虚拟物体的绘制画面Iv；5)、获取虚拟物体所在的画面区域，定义为虚拟区域Rv；6)、根据定标板区域和虚拟区域，得到待修复的区域Rr＝Rm‑Rv；7)、对该修复区域Rr进行图像修复，得到Ir；所述的步骤7)由以下步骤组成：(7.1)使用高斯差算子，对当前帧图像I进行线条检测，得到边缘线特征图像；(7.2)并将该线特征图像视作alpha通道，和当前帧图像I合并得到四通道的纹理图像It；(7.3)在纹理图像It的非修复区域截取M×M大小的纹理块，块与块之间的纵向与横向间隔为M/3，建立纹理块样本库，其中M取12个像素；(7.4)对于待修复区域Rr的每一个边界像素pr，将其M×M为 大小的邻域纹理块取出，并按照该纹理块中存在的颜色信息和位置去纹理块样本库中检索最相近的纹理块Pn；(7.5)将最近纹理块Pn的中心像素的颜色赋值到当前处理的边界像素pr上；(7.6)将上述边界像素pr标记为已修复区域，返回到步骤(7.4)，对尚未修复的其它边界像素进行修复，直至所有整个待修复区域得到修复；8)、以上一帧图像和Ir为邻域像素，对Ir进行双边滤波，去除修复产生的噪声和相邻帧之间的不连续性；9)、将绘制好的虚拟物体叠加到修复后的真实环境画面中，得到最终的增强现实画面Iv⊕Ir；所述的真实环境画面移除了定标板的遮挡。