一种基于Kinect摄像机的混合视觉系统标定方法

摘要

本发明涉及一种基于Kinect摄像机的混合视觉系统标定方法，该混合视觉系统包括Kinect摄像机和全景摄像机。所述标定方法为：分别对Kinect摄像机的RGB摄像机和全景摄像机进行标定，得到RGB摄像机和全景摄像机的内参数，并设置基于棋盘格的标定板，创建棋盘格坐标系；在空间中构建一位于全景摄像机坐标系前的虚拟摄像机投影平面，计算并得出虚拟摄像机投影平面到棋盘格坐标系的变换矩阵，进一步得到Kinect摄像机中的IR摄像机到全景摄像机的外参数。本发明能够获得Kinect摄像机内参数和混合视觉系统的外参数，对标定条件和混合视觉系统的空间配置关系要求低，使用灵活。

主权项

一种基于Kinect摄像机的混合视觉系统标定方法，首先对全景摄像机进行标定，得到全景摄像机的内参数，并设置基于棋盘格的标定板，创建棋盘格坐标系，在空间中构建一位于全景摄像机坐标系前的虚拟摄像机投影平面，计算得出虚拟摄像机投影平面到棋盘格坐标系的变换矩阵，其特征在于：所述对全景摄像机进行标定，得到全景摄像机的内参数的方法为：设全景摄像机的折反射镜的上焦点为O_m，下焦点为O_o，所有入射光线均指向O_m并且汇聚到O_o上，将上焦点O_m选作全景摄像机坐标系的原点，建立双曲面镜的方程，见下式：$\frac{{(Z+c)}^2}{a^2}-\frac{X^2+Y^2}{b^2}=1,$上式中，a、b和c为双曲面镜的参数，满足a²+b²＝c²，X、Y、Z为全景摄像机坐标系下双曲面镜上的点的坐标；在全景摄像机坐标系下，设空间点P在双曲面镜的交点坐标为[X_m Y_m Z_m]^T；它在全景摄像机图像平面的成像过程可以用下式来表示：$(Z_m+2c)\left[\begin{array}{c}{u}_o\\ v_o\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_{xo}& {\beta }_o& u_{0o}\\ 0& k_{yo}& v_{0o}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{Y}_m\\ X_m\\ Z_m+2c\end{array}\right],$上式中，为全景摄像机配备的摄像机的内参数矩阵，[u_o v_o 1]^T为点[X_m Y_m Z_m]^T的投影点坐标；所述虚拟摄像机投影平面的投影模型为：$\lambda \left[\begin{array}{c}{u}_v\\ v_v\\ 1\end{array}\right]=K_v\left[R_v\right|T_v]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right],$上式中[X_w Y_w Z_w]^T为棋盘角点在世界坐标系中的坐标，[u_v v_v 1]^T为其投影点的像素坐标，[R_v|T_v]为虚拟摄像机坐标系与世界坐标系的外参数矩阵,投影点的归一化坐标值只与外参数有关系，与内参数无关，K_V为虚拟投影平面的内参数；所述混合视觉系统还包括Kinect摄像机，所述Kinect摄像机包括RGB摄像机和IR摄像机；所述混合视觉系统标定方法，还包括如下步骤，步骤S1：对RGB摄像机进行标定，得到RGB摄像机的内参数；步骤S2：在RGB摄像机的不同方位，摆放标定板，并创建各个方位的标定板对应的棋盘格坐标系，计算出RGB摄像机坐标系到棋盘格坐标系的变换矩阵；步骤S3：根据上述虚拟摄像机投影平面到棋盘格坐标系的变换矩阵，获得RGB摄像机坐标系到全景摄像机坐标系的变换矩阵，并计算得到RGB摄像机到全景摄像机的外参数；步骤S4：根据RGB摄像机坐标系和IR摄像机坐标系的变换矩阵，获得IR摄像机到RGB摄像机的外参数，并根据步骤S3得到的RGB摄像机到全景摄像机的外参数，计算得到IR摄像机到全景摄像机的外参数。