一种基于摄像机实时定标的可视遥在装置及其工作方法

摘要

本发明公开了一种基于摄像机实时定标的可视遥在装置及其工作方法。该装置由两台计算机、一台头盔显示器和一台云台控制转动的双目相机构成。其基本工作方法是通过对头盔显示器摄像头进行摄像机定标，计算出操作者头部的朝向和运动轨迹；通过对双目相机的摄像机定标，计算出云台精确位置和朝向，两者结合生成云台转动控制指令，使云台和操作者头部具有相同的运动轨迹，并将双目相机获得的左右眼图像实时传回本地计算机，在头盔上实时显示，实现在本地看到符合人体头部运动姿态的远程立体场景。除了可以远程场景的真实立体显示，还可用作虚拟现实等其他应用。

主权项

一种基于摄像机实时定标的可视遥在装置的工作方法，其特征在于，工作方法如下：1)头盔显示器摄像头拍摄本地场景的完整离线视频序列，双目相机拍摄远程场景的完整离线视频序列，使用GPU加速的摄像机实时定标方法，分别对头盔显示器摄像头和双目相机进行实时定标，所述实时定标方法整体上分为离线和在线两个阶段，离线阶段主要用于构建真实场景的三维描述，包括建立SIFT特征点库，选取关键帧工作，这时需要获取场景的离线视频序列，提取SIFT特征点，求解特征点的球面坐标，采用关键帧单位组织SIFT特征点，构成离线特征点库，在线阶段，使用KLT进行连续帧特征跟踪，根据跟踪结果进行相邻帧相机参数求解，逐帧求解过程中，相机定标误差会逐渐积累，因此提取SIFT特征点，并选取关键帧进行特征匹配，计算出精确的相机参数，进行积累误差消除；帧画面上的特征点的提取、匹配与跟踪是定标计算的瓶颈，因此所述KLT算法和SIFT算法由CUDA编程实现：CUDA（Compute Unified Device Architecture）是在GPU上的一个通用并行计算架构，另外，所述KLT算法在进行特征点选择时，需要计算的最小特征根数据传回CPU中进行选点计算，在计算的同时对最小特征根数据进行初步的筛选，并通过atomic函数，只将经过筛选的数据进行保存；另外，所述SIFT算法在进行局部极值检测时，需要对DOG中间层图像的每个像素进行检测，只保存获得的极值点数据；最后在获取SIFT特征描述符时，利用共享内存，实现用4个线程并行计算特征点的特征描述符；2)头盔显示器摄像头将实时捕获的左右眼图像序列传送到本地计算机，同时双目相机将实时捕获的左右眼图像序列传送到远程计算机；3)当前帧图像为图像序列第一帧时，本地计算机计算出头盔显示器摄像头的初始相机参数，并传送到远程计算机，控制云台转向与头盔显示器摄像头相同的朝向，使头盔显示器和双目相机有相同的朝向；4)通过获得的图像序列，本地计算机和远程计算机分别进行相机参数计算；5)本地计算机将实时定标获得的相机参数传送到远程计算机，远程计算机根据本地计算机传送来的头盔显示器摄像头相机参数和当前求解出的双目相机相机参数，生成云台转动控制指令；6)远程计算机将双目相机获得的左右眼图像实时传送回本地计算机，并在头盔显示器上实时显示；7)判断当前帧是否为最后一帧 是，工作结束；否，则下一帧作为当前帧，重复步骤（4）至（6）。