用于道路交通监控的安全带自动检测方法

摘要

本发明公开了一种用于道路交通监控的安全带自动检测方法，步骤包括：步骤1.对于车道上方架设的按车道监控的道路交通监控高清摄像头拍摄的监控图像，检测正、副驾驶席上的人脸，根据检测到的人脸，分别定位正、副驾驶席上的安全带检测区域；步骤2.对已定位的驾驶人、副驾驶人的安全带检测区域，分别进行图像边缘检测；步骤3.根据驾驶人、副驾驶人的安全带检测区域，分别从检测到的边缘中拟合出短直线段，并在其中检测疑似安全带边缘的短直线段；步骤4.根据驾驶人、副驾驶人的安全带检测区域，分别将疑似安全带边缘的短直线段连接为疑似安全带边缘的长直线段，并在其中检测安全带的两条边缘，判断驾驶人、副驾驶人是否佩系安全带。

主权项

1.一种用于道路交通监控的安全带自动检测方法，其特征在于，按照以下步骤具体实施：步骤1、对于车道上方架设的按车道监控的道路交通监控高清摄像头拍摄的监控图像，检测正、副驾驶席上的人脸，根据检测到的人脸，分别定位正、副驾驶席上的安全带检测区域当检测结果为一个人脸时，人脸矩形框为驾驶人的，记为J，其左上角坐标为右下角坐标为当检测结果为两个人脸时，位于图像右侧的人脸矩形框为驾驶人的，记为J，其左上角坐标为右下角坐标为位于图像左侧的人脸矩形框为副驾驶人的，记为F，其左上角坐标为右下角坐标为根据驾驶人的人脸矩形框J，定义其右下方矩形区域JA为驾驶人的安全带检测区域，其左上角坐标与右下角坐标由下式计算：$x_{{\mathrm{JA}}_t}=x_{J_t}+\frac{x_{J_b}-x_{J_t}}{2}$$\begin{array}{c}{y}_{{\mathrm{JA}}_t}=y_{J_t}+\frac{y_{J_b}-y_{J_t}}{2}\\ x_{{\mathrm{JA}}_b}=\left\{\begin{array}{cc}{x}_{J_b}+\frac{x_{J_b}-x_{J_t}}{2},& W-x_{J_b}\ge \frac{x_{J_b}-x_{J_t}}{2}\\ W,& W-x_{J_b}<\frac{x_{J_b}-x_{J_t}}{2}\end{array}\right.\end{array}---\left(1\right)$$y_{{\mathrm{JA}}_b}=y_{J_b}+\frac{3\times (y_{J_b}-y_{J_t})}{4}$其中，W为监控图像的宽度，如果检测到副驾驶人的人脸矩形框F，则定义其左下方矩形区域FA为副驾驶人的安全带检测区域，其左上角坐标与右下角坐标由下式计算：$x_{{\mathrm{FA}}_t}=\left\{\begin{array}{cc}{x}_{F_t}-\frac{x_{F_b}-x_{F_t}}{2},& x_{F_t}\ge \frac{x_{F_b}-x_{F_t}}{2}\\ 0,& x_{F_t}<\frac{x_{F_b}-x_{F_t}}{2}\end{array}\right.$；（2）$y_{{\mathrm{FA}}_t}=y_{F_t}+\frac{y_{F_b}-y_{F_t}}{2}$$x_{{\mathrm{FA}}_b}=x_{F_b}+\frac{x_{F_b}-x_{F_t}}{2}$$y_{{\mathrm{FA}}_b}=y_{F_b}+(y_{F_b}-y_{F_t})$步骤2、对已定位的驾驶人、副驾驶人的安全带检测区域，分别进行图像边缘检测分别对步骤1中已定义的安全带检测区域JA、FA灰度化，采用Canny算子进行图像边缘检测，Canny算子提取边缘时需要用高、低两个阈值T_high和T_low检测以及连接边缘，其中阈值T_high通过Otsu最大类间方差法自适应获取，阈值T_low通过下式计算得到：T_low=0.4×T_high，    （3）边缘检测后的安全带检测区域JA、FA为黑白二值图，边缘为白色；步骤3、根据驾驶人、副驾驶人的安全带检测区域，分别从检测到的边缘中拟合出短直线段，并在其中检测疑似安全带边缘的短直线段分别在边缘检测后的安全带检测区域JA、FA中，采用概率Hough直线变换，在步骤2中检测到的白色边缘中，随机选取两个点(x_i,y_i)和(x_j,y_j)，联立直线方程求解，得到Hough变换参数空间中的一点(a,b)，参照下式：$\begin{array}{c}{y}_i={\mathrm{ax}}_i+b\\ y_j={\mathrm{ax}}_j+b\end{array},---\left(4\right)$其中，i,j∈{1,2,…,N_WP}，N_WP为白色边缘的像素点个数，不断的选取随机点对，当参数点(a,b)的累加器次数达到31次时，以(a,b)为参数的直线被拟合出来，搜索步骤2中检测到的白色边缘点，把在该直线上且距离小于2的白色边缘点连成线段，当线段长度大于10时，该线段就被拟合出来，称为短直线段Hi，短直线段Hi的两个端点中，坐标y值小的端点定义为down端点，记为坐标y值大的端点定义为up端点，记为短直线段记为i＝1,2,…,N_H，N_H为被拟合出来的短直线段的个数，在安全带检测区域JA中，N_H=N_HJ，N_HJ为JA中经过概率Hough变换之后拟合出的短直线段的个数，在安全带检测区域FA中，N_H=N_HF，N_HF为FA中经过概率Hough变换之后拟合出的短直线段的个数，计算短直线段i＝1,2,…,N_H在x轴正方向与y轴正方向的象限内与x轴的夹角angle_Hi的角度值，参照下式：在安全带检测区域JA中，如果angle_Hi满足公式（6）的条件：-80°<angle_Hi<-30°，    （6）则短直线段i∈{1,2,…,N_H}为疑似驾驶人安全带边缘的短直线段，在安全带检测区域FA中，如果angle_Hi满足公式（7）的条件：30°<angle_Hi<80°，    （7）则短直线段i∈{1,2,…,N_H}为疑似副驾驶人安全带边缘的短直线段，记疑似安全带边缘的短直线段为：i=1,2,…,N，其中的N为检测出的疑似安全带边缘的短直线段的个数，N≤N_H，对其按照down端点坐标的值从小到大进行排序，结果记为a1,a2,a3,…,aN；步骤4、根据驾驶人、副驾驶人的安全带检测区域，分别将疑似安全带边缘的短直线段连接为疑似安全带边缘的长直线段，并在其中检测安全带的两条边缘，判断驾驶人、副驾驶人是否佩系安全带根据步骤3的疑似安全带边缘的短直线段的排序a1,a2,a3,…,aN，取出短直线段与短直线段比较，如果同时满足下面4个条件：在安全带检测区域JA中，4个条件分别是：①$|y_{{a1}_{\mathrm{up}}}-y_{{a2}_{\mathrm{down}}}|<\frac{y_{{\mathrm{FA}}_b}-y_{{\mathrm{FA}}_t}}{4};$②|angle_a1-angle_a2|<12°；③|angle_a1-angle_a1_upa2_up|<12°；④-80°<angle_a1_downa2_up<-30°；在安全带检测区域FA中，4个条件分别是：①$|y_{{a1}_{\mathrm{up}}}-y_{{a2}_{\mathrm{down}}}|<\frac{y_{{\mathrm{FA}}_b}-y_{{\mathrm{FA}}_t}}{4};$②|angle_a1-angle_a2|<12°；③|angle_a1-angle_a1_upa2_up|<12°；④30°<angle_a1_downa2_up<80°；其中，angle_a1_upa2_up为a1的up端点和a2的up端点的连线与x轴夹角的角度值，angle_a1_downa2_up为a1的down端点和a2的up端点的连线与x轴夹角的角度值，则将a1的up端点更改为a2的up端点，参照公式（8），即连接a1的down端点与a2的up端点为一条直线段，$\begin{array}{c}{x}_{{a1}_{\mathrm{up}}}=x_{{a2}_{\mathrm{up}}}\\ y_{{a1}_{\mathrm{up}}}=y_{{a2}_{\mathrm{up}}}\end{array},---\left(8\right)$否则，a1的up端点保持不变；接着a1依次与短直线段a3,a4,…,aN比较，不断更新a1的up端点，连接a1的down端点与更新后的a1的up端点，形成第一条疑似安全带边缘的长直线段，记为如图4所示为在JA区域内的连接示意；取出短直线段将a2依次与短直线段a3,a4,…,aN比较，不断更新a2的up端点，连接a2的down端点与更新后的a2的up端点，形成第二条疑似安全带边缘的长直线段，记为$L2\{(x_{{a2}_{\mathrm{down}}},y_{{a2}_{\mathrm{down}}}),(x_{{a2}_{\mathrm{up}}},y_{{a2}_{\mathrm{up}}})\};$依次取出短直线段i＝3,4,…,N，分别与短直线段a(i+1),a(i+2),…,aN比较,不断更新ai的甲端点，连接ai的down端点与更新后的ai的up端点，形成疑似安全带边缘的长直线段$L3\{(x_{{a3}_{\mathrm{down}}},y_{{a3}_{\mathrm{down}}}),(x_{{a3}_{\mathrm{up}}},y_{{a3}_{\mathrm{up}}})\},$$L4\{(x_{{a4}_{\mathrm{down}}},y_{{a4}_{\mathrm{down}}}),(x_{{a4}_{\mathrm{up}}},y_{{a4}_{\mathrm{up}}})\},···,$$\mathrm{LN}\{(x_{{\mathrm{aN}}_{\mathrm{down}}},y_{{\mathrm{aN}}_{\mathrm{down}}}),(x_{{\mathrm{aN}}_{\mathrm{up}}},y_{{\mathrm{aN}}_{\mathrm{up}}})\},$计算疑似安全带边缘的长直线段Li的长度length_Li，参照下式（9）：$\mathrm{length}\_\mathrm{Li}=\sqrt{{(x_{{\mathrm{ai}}_{\mathrm{up}}}-x_{{\mathrm{ai}}_{\mathrm{down}}})}^2+{(y_{{\mathrm{ai}}_{\mathrm{up}}}-y_{{\mathrm{ai}}_{\mathrm{down}}})}^2},---\left(9\right)$其中，i=1,2,…,N，按照疑似安全带边缘的长直线段的长度值由大到小排序，并记为$\mathrm{LA}1\{(x_{{\mathrm{LA}1}_{\mathrm{down}}},y_{{\mathrm{LA}1}_{\mathrm{down}}}),(x_{{\mathrm{LA}1}_{\mathrm{up}}},y_{{\mathrm{LA}1}_{\mathrm{up}}}),\mathrm{length}\_\mathrm{LA}1\},$$\mathrm{LA}2\{(x_{{\mathrm{LA}2}_{\mathrm{down}}},y_{{\mathrm{LA}2}_{\mathrm{down}}}),$$({\text{x}}_{{\mathrm{LA}2}_{\mathrm{up}}},y_{{\mathrm{LA}2}_{\mathrm{up}}}),\mathrm{length}\_\mathrm{LA}2\},$...，$\text{LAN{}(x_{{\mathrm{LAN}}_{\mathrm{down}}},y_{{\mathrm{LAN}}_{\mathrm{down}}}),(x_{{\mathrm{LAN}}_{\mathrm{up}}},y_{{\mathrm{LAN}}_{\mathrm{up}}}),$$\mathrm{length}\_\mathrm{LAN}\},$在安全带检测区域JA中，依次取出疑似安全带边缘的长直线段i＝1,2,…,N，若同时满足下列条件：①$\mathrm{length}\_\mathrm{LAi}>\frac{x_{{\mathrm{JA}}_b}-x_{{\mathrm{JA}}_t}}{10};$②$y_{{\mathrm{LAi}}_{\mathrm{down}}}>y_{J_b};$或或则将该疑似安全带边缘的长直线段定义为驾驶人安全带的第一条边缘，记为终止条件判断，并记终止时的i＝k；否则，直接判定驾驶人未系安全带；当且仅当存在时，依次取出疑似安全带边缘的长直线段i=k+1,k+2,…,N，若同时满足下列条件：①$\mathrm{length}\_\mathrm{LAi}>\frac{x_{{\mathrm{JA}}_b}-x_{{\mathrm{JA}}_t}}{10};$②$\sqrt{{(x_{{\mathrm{LAi}}_{\mathrm{up}}}-x_{{L\_\mathrm{JA}1}_{\mathrm{up}}})}^2+{(y_{{\mathrm{LAi}}_{\mathrm{up}}}-y_{{L\_\mathrm{JA}1}_{\mathrm{up}}})}^2}>\frac{x_{{\mathrm{JA}}_b}-x_{{\mathrm{JA}}_t}}{10};$③$y_{{\mathrm{LAi}}_{\mathrm{down}}}>y_{J_b};$或或则将该疑似安全带边缘的长直线段定义为驾驶人安全带的第二条边缘，记为L_JA2，终止条件判断，并且判定驾驶人佩系安全带；否则判定驾驶人未系安全带，如果步骤1中安全带检测区域FA存在，在安全带检测区域FA中，依次取出疑似安全带边缘的长直线段i＝1,2,…,N，若同时满足下列条件：①$\mathrm{length}\_\mathrm{LAi}>\frac{x_{{\mathrm{FA}}_b}-x_{{\mathrm{FA}}_t}}{10};$②$y_{{\mathrm{LAi}}_{\mathrm{down}}}>y_{F_b};$或或则将该疑似安全带边缘的长直线段定义为副驾驶人安全带的第一条边缘，记为终止条件判断，并记终止时的i＝k；否则，直接判定副驾驶人未系安全带；当且仅当存在时，依次取出疑似安全带边缘的长直线段i＝k+1,k+2,…,N，若同时满足下列条件：①$\mathrm{length}\_\mathrm{LAi}>\frac{x_{{\mathrm{FA}}_b}-x_{{\mathrm{FA}}_t}}{10};$②$\sqrt{{(x_{{\mathrm{LAi}}_{\mathrm{up}}}-x_{{L\_\mathrm{FA}1}_{\mathrm{up}}})}^2+{(y_{{\mathrm{LAi}}_{\mathrm{up}}}-y_{{L\_\mathrm{FA}1}_{\mathrm{up}}})}^2}>\frac{x_{{\mathrm{FA}}_b}-x_{{\mathrm{FA}}_t}}{10};$③$y_{{\mathrm{LAi}}_{\mathrm{down}}}>y_{F_b};$或或则将该疑似安全带边缘的长直线段定义为副驾驶人安全带的第二条边缘，记为L_FA2，终止条件判断，并且判定副驾驶人佩系安全带；否则判定副驾驶人未系安全带，即成。