一种基于双目视觉的人体姿态动作研究方法

摘要

本发明公开了一种基于双目视觉的人体姿态动作研究方法，该方法首先通过双目标定获取相机的内外参数，接着从相机拍摄的图像中提取出各肤色区域的质心点的坐标，并对质心点进行匹配判断，然后以世界坐标系为基准求出匹配的质心点在世界坐标系中的坐标，最后根据质心点在世界坐标系中坐标判断人体的姿态及动作。本发明不需要拍摄大量图像，能够通过实时采集视频帧对人脸和双手等人体关键部位的质心点进行立体匹配，以获取人体关键部位之间的位置关系，运行成本较低。

主权项

一种基于双目视觉的人体姿态动作研究方法，其特征在于，包括以下步骤：步骤S1：将左相机和右相机分别置于与地面平行的同一水平线上，其中，两部相机为同一型号，两部相机之间的距离为设定值，且两部相机均能拍摄到完整的人体上半身；步骤S2：对所述左相机和所述右相机进行双目标定，首先准备一块带有多个圆形特征点的矩形标定板，其中，多个所述圆形特征点排列成多行和多列的阵列，位于同一行的圆形特征点的圆心在同一直线上，位于同一列的圆形特征点的圆心在同一直线上；步骤S3：将所述标定板置于相机拍摄区域内的至少5个不同方位，并分别使用左相机和右相机对所述标定板进行拍摄，得到多张对应左相机的左标定板图像和多张对应右相机的右标定板图像；步骤S4：计算所述左标定板图像中的多个所述圆形特征点在左图像坐标系中的坐标，以及所述右标定板图像中的多个所述圆形特征点在右图像坐标系中的坐标，其中，所述左图像坐标系的原点为所述左相机的成像面与其光轴的交点，所述右图像坐标系的原点为所述右相机的成像面与其光轴的交点；步骤S5：利用极线约束规则分别匹配同一方位下的所述左标定板图像和所述右标定板图像，得到每个方位下多个所述圆形特征点在所述左图像坐标系和所述右图像坐标系中的特征圆心；步骤S6：根据每个方位下多个所述圆形特征点在所述左图像坐标系和所述右图像坐标系中的特征圆心，利用Levenberg‑Marquardt算法计算所述左相机的内参数，以及所述左相机和所述右相机组成的相机系统的外参数，其中，所述内参数至少包括左图像坐标系中u轴的有效焦距f_x、v轴的有效焦距f_y以及左图像坐标系的中心坐标(c_x,c_y)，所述外参数至少包括旋转向量R和平移向量t；步骤S7：构建人体肤色模型，首先使用手工标注方法统计大量RGB格式人体图像中的肤色区域的RGB值，得到人体肤色在RGB空间的分布情况；步骤S8：将RGB空间转化到YCrCb空间，得到人体肤色在YCrCb空间的分布情况；步骤S9：根据人体肤色在YCrCb空间的分布情况构建人体肤色模型；步骤S10：被采集者站立在所述左相机和所述右相机的图像采集范围内，在t0时刻，使用所述左相机和所述右相机分别采集一帧左相机图像和一帧右相机图像；步骤S11：根据所述人体肤色模型，分别对所述左相机图像和所述右相机图像进行预处理滤波去噪及肤色检测，得到所述左相机图像中的多个连通的肤色区域和所述右相机图像中的多个连通的肤色区域；步骤S12：分别对所述左相机图像中的多个连通的肤色区域和所述右相机图像中的多个连通的肤色区域进行二值化处理及滤波，获取所述左相机图像中的多个肤色区域和所述右相机图像中的多个肤色区域，其中，所述多个肤色区域至少包括被采集者的脸部；步骤S13：分别计算所述左相机图像和所述右相机图像中的多个肤色区域的质心点的坐标，首先从所述左相机图像中的多个肤色区域和所述右相机图像中的多个肤色区域中取一个肤色区域；步骤S14：取该肤色区域的最小外接矩形，得到大小为m*n的子图像，其中m为所述最小外接矩形的宽度，n为所述最小外接矩形的长度；步骤S15：假设(i,j)为所述子图像中以对应的图像坐标系为基准的像素点的坐标，f(i,j)为所述子图像在该像素点的灰度值，则所述子图像的矩为：$M_{pq}={\Sigma }_{i=1}^n{\Sigma }_{j=1}^m{i}^p{j}^{q}f(i,j);$步骤S16：分别计算所述子图像的0阶矩M₀₀和1阶矩M₁₀及M₀₁；步骤S17：设所述子图像的质心点的坐标为P(x_c,y_c)，按照下式计算所述子图像的质心点的坐标：$x_c=\frac{M_{10}}{M_{00}},y_c=\frac{M_{01}}{M_{00}};$步骤S18：重复上述步骤S13～S17直至所述左相机图像中的多个肤色区域和所述右相机图像中的多个肤色区域全部计算完成；步骤S19：判断所述左相机图像中的多个肤色区域分别对应的质心点与所述右相机图像中的多个肤色区域分别对应的质心点之间的匹配关系，首先设定一灰度相关值阈值T；步骤S20：从所述右相机图像中的多个肤色区域中取一个肤色区域，并从所述左相机图像中取出与该右相机图像的肤色区域对应的肤色区域；步骤S21：以该右相机图像的肤色区域的质心点的坐标p₁(x₁,y₁)为中心，选定一个大小为(2m′+1)*(2n′+1)的窗口，其中m′，n′为设定值的自然数；步骤S22：以左相机图像中对应肤色区域的质心点的坐标p₂(x₂,y₂)为中心，也选定一个大小为(2m′+1)*(2n′+1)的窗口；步骤S23：假设I₁(x₁+i,y₁+j)为右相机图像中该肤色区域的质心点周围的像素点的灰度值，为右相机图像中该肤色区域的最小外接矩形包围的区域范围内所有像素点的灰度均值，I₂(x₂+i,y₂+j)为左相机图像中对应肤色区域的质心点周围的像素点的灰度值，为左相机图像中对应肤色区域的最小外接矩形包围的区域范围内所有像素点的灰度均值，σ(I_k)为标准差，通过以下两式计算该右相机图像的肤色区域与该左相机图像的肤色区域的灰度相关值R(p₁,p₂)：k＝1或2，$R(p_1,p_2)=\frac{\underset{i=-n^{\prime }}{\overset{n^{\prime }}{\Sigma }}\underset{j=-m^{\prime }}{\overset{m^{\prime }}{\Sigma }}[I_1(x_1+i,y_1+j)-\overline{I_1(x_1,y_1)}][I_2(x_2+i,y_2+j)-\overline{I_2(x_2,y_2)}]}{(2m^{\prime }+1)(2n^{\prime }+1)\sqrt{{\sigma }^2\left(I_1\right)\times {\sigma }^2\left(I_2\right)}};$步骤S24：比较灰度相关值R(p₁,p₂)与灰度相关值阈值T的大小，当R(p₁,p₂)<T时，说明该左图像中肤色区域的质心点与该右图像中肤色区域的质心点不匹配，并舍弃该左图像中肤色区域的质心点和该右图像中肤色区域的质心点；步骤S25：重复上述步骤S20～S24直至对所述右相机图像中的多个肤色区域全部完成匹配关系判断；步骤S26：根据步骤S6中得到的内参数和外参数，计算相匹配的质心点在世界坐标系中的坐标，首先，假设u_l、u_r分别为某对相匹配的质心点在左图像坐标系中的横坐标和在右图像坐标系中的横坐标，按下式计算所述左相机和所述右相机的视差D：D＝u_l‑u_r；步骤S27：假设所述左相机的焦距为f_c，所述左相机的光心和所述右相机的光心之间的距离为b，以所述左相机的光心为原点建立世界坐标系，其中，该世界坐标系为左手坐标系，按下式计算所述左相机在世界坐标系中的坐标z_c：$z_c=b\frac{f_c}{D};$步骤S28：假设该对相匹配的质心点在左图像坐标系中的纵坐标为v_l，该对相匹配的质心点在左图像坐标系中的坐标对应世界坐标系中坐标为(x_w，y_w，z_w)的点，则按下式计算x_w，y_w，z_w的值，其中s为倾斜因子，0^T＝[0，0，0]：$z_c\left[\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right]=\left[\begin{array}{cccc}{f}_x& s& c_x& 0\\ 0& f_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 0\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right];$步骤S29：经过一设定时间间隔后，在t1时刻，重复上述步骤S10～S28；步骤S30：判断被采集者的脸部的质心点是否被舍弃，如果未被舍弃，则进行步骤S31；步骤S31：假设t0时刻采集到的图像计算出的脸部的质心点的坐标在世界坐标系中的坐标为P_t0(x0,y0,z0)，t1时刻采集到的图像计算出的脸部的质心点的坐标在世界坐标系中的坐标为P_t1(x′,y′,z′)，设定一左右平移阈值ε和一前后平移阈值δ，并进行以下判断：①若y′‑y0<0，则判定被采集者发生了下蹲的动作，②若x′‑x0<ε，则判定被采集者向左发生了平移，③若x′‑x0>ε，则判定被采集者向右发生了平移，④若z′‑z0<δ，则判定被采集者向前发生了平移，⑤若z′‑z0>δ，则判定被采集者向后发生了平移。