一种单摄像机虚拟鼠标系统的校准方法

摘要

本发明属于机器视觉技术领域，将提供一种单摄像机虚拟鼠标系统模型参数的校准方法。本发明基于二维实体靶标和二维虚拟靶标，以实体靶标坐标系为中介，获取了非视场范围内的屏幕平面在摄像机坐标系下的方程，同时通过投影视线与空间屏幕平面相交建立了单摄像机虚拟鼠标系统中三维空间控制点的投影点的图像坐标与屏幕坐标的一一映射关系，将控制点对应的屏幕坐标作为输入提供给计算机系统，达到控制计算机的目的。该方法无需高成本的辅助调整设备，操作简单，校准效率高，适用于单摄像机虚拟鼠标系统的现场校准，大大地提高了虚拟鼠标系统的有效视场范围和操作实时性。

主权项

1、一种单摄像机虚拟鼠标系统的校准方法，其特征在于，校准包括摄像机内部参数校准阶段、屏幕坐标系到摄像机坐标系的变换和屏幕平面校准阶段。校准的具体步骤如下：1.1、摄像机内部参数校准阶段：1.1.1、设定实体靶标[1]。靶标为一个二维平面，靶标上有预先设置的特征点，在靶标平面上布置黑白相间的棋盘格，黑白方块的边长为10～50mm，其边长精度为0.01mm～0.1mm，黑方块与白方块公有的顶点称为格点。选取靶面上格点为特征点，特征点数量为16～400个；1.1.2、设定摄像机[4]的观测位置，调整摄像机的镜头焦距和光圈。摄像机观测位置位于计算机屏幕上方，定义为观察用户控制点的最佳位置，根据要观测的控制点三维空间范围，调整好摄像机的镜头焦距，根据光照环境，调整好光圈大小。将摄像机固定在观测位置，并固定好摄像机镜头的焦距和光圈；1.1.3、校准摄像机[4]内部参数。具体步骤如下：第一步，在摄像机的视场范围内，自由、非平行地移动实体靶标[1]至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机校准图像，靶标上所有的特征点应包含在拍摄图像内；第二步，提取所有摄像机校准图像的特征点的图像坐标，并与特征点的世界坐标坐标对应；第三步，利用第二步提取的所有特征点的图像坐标及对应的世界坐标来校准摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数；1.2、屏幕坐标系到摄像机坐标系的变换和屏幕平面校准阶段1.2.1、确定使用计算机系统的屏幕[3]的可视物理尺寸和显示分辨率。计算机的显示分辨率为sl×sh像素，屏幕可视物理尺寸为ls×hs英寸，这些参数对于实际使用的计算机系统是已知的，可以从相关手册和操作系统查询获得；1.2.2、设定虚拟靶标[2]。靶标的形状与实体靶标[1]相同，特征点数量也相同，由计算机生成，直接显示在屏幕[3]上。虚拟靶标[2]方块的边长lp为30～150像素，实际大小的长宽尺寸为$25.4*l_p(\frac{l_s}{s_l}\times \frac{l_n}{s_h})\mathrm{mm};$ 1.2.3、放置实体靶标[1]，调整摄像机[4]、实体靶标[1]和虚拟靶标[2]的位置关系。实体靶标[1]在屏幕[3]前方，靶标平面与屏幕大约成90°～150°的角度，保证摄像机在观测位置能够观测到实体靶标[1]上所有特征点。保持实体靶标[1]不动，移动摄像机[4]，保证摄像机能够同时观测到实体靶标[1]和虚拟靶标[2]上的所有特征点，此时摄像机所在位置称为中介位置。固定实体靶标[1]，在校准过程中，保持实体靶标[1]的位置和虚拟靶标[2]的显示位置及大小不发生变化；1.2.4、获得屏幕坐标系到实体靶标坐标系的变换。具体步骤为：第一步，将摄像机[4]固定在中介位置，此时摄像机坐标系称为中介坐标系。拍摄一幅包含实体靶标[1]和虚拟靶标[2]所有特征点在内的图像，称为双靶标校准图像；第二步，提取双靶标校准图像内属于实体靶标[1]的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标和对应的实体靶标坐标，计算实体靶标坐标系到中介坐标系的变换；第三步，提取双靶标校准图像内属于虚拟靶标[2]的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标和对应的屏幕坐标，计算屏幕坐标系到中介坐标系的变换；第四步，由第二步得到的实体靶标坐标系到中介坐标系的变换和第三步得到的屏幕坐标系到中介坐标系变换，计算屏幕坐标系到实体靶标坐标系的变换；1.2.5、获得屏幕坐标系到摄像机坐标系的变换。具体步骤为：第一步，将摄像机[4]固定在观测位置，拍摄一幅包含实体靶标[1]所有特征点在内的图像，称为单靶标校准图像；第二步，提取单靶标校准图像内属于实体靶标[1]的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标和对应的实体靶标坐标，计算实体靶标坐标系到摄像机坐标系的变换；第三步，由第二步得到的实体靶标坐标系到摄像机坐标系的变换和步骤1.2.4得到的屏幕坐标系到实体靶标坐标系的变换，计算屏幕坐标系到摄像机坐标系的变换；1.2.6、获得屏幕平面在摄像机坐标系中的方程。利用虚拟靶标[2]上特征点的屏幕坐标，根据由步骤1.2.5得到的屏幕坐标系到摄像机坐标系的变换，计算虚拟靶标[2]上特征点的摄像机坐标，利用特征点的摄像机坐标拟合平面得到屏幕平面在摄像机坐标系中的方程；1.2.7、将校准的摄像机内部参数、屏幕坐标系到摄像机坐标系的变换参数和屏幕平面在摄像机坐标系中的方程系数保存到系统参数文件中，以备虚拟鼠标系统使用时调用。