基于全方位计算机视觉的智能交通信号灯控制装置

摘要

一种基于全方位计算机视觉的智能交通信号灯控制装置，包括安装在路口中间上方的用于获取整个路口交通状态全景视频图像的摄像装置、用于根据摄像装置的全景视频数据进行检测路口等候通过车辆的排队长度和出口的拥堵状态、决定信号灯控制策略以及控制信号灯切换动作的微处理器，根据检测各相位入口的车辆排队长度以及出口处的拥堵状态来确定各相位的信号灯控制策略对交通信号灯进行智能控制，使路口有良好的秩序，减少或完全消除可能引起交通事故的冲突点，并使得路口的运行指标最佳。

主权项

1.一种基于全方位计算机视觉的智能交通信号灯控制装置，其特征在于：包括安装在路口中间上方的用于获取整个路口交通状态全景视频图像的摄像装置、用于根据摄像装置的全景视频数据进行检测路口等候通过车辆的排队长度和出口的拥堵状态、决定信号灯控制策略以及控制信号灯切换动作的微处理器，所述的微处理器包括：全景图像获取模块，用于获取初始化信息和路口的全景视频图像，包括系统初始化单元和图像获取单元；系统初始化单元，用于将数据指标信息、路口相位控制顺序编排、路口相位车辆排队长度检测区域、路口相位出口处拥堵检测区域、相位各车道和各车道的采样点定制数据和检测区域采样点空间位置信息读入到动态存储单元中，以备后续处理过程中调用；图像获取单元，用于读取从摄像装置传过来的视频图像信息并将视频图像信息保存在动态存储单元中；采样点、车道和车道行驶方向定制模块，用于定义道路上的采样点的相位属性、车道方向变更属性、在车道纵向方向上的空间位置属性和在车道横向方向上的空间位置属性，采样点的命名方式采用四维数组S(i，j，k，l)来表示一个采样点，其中i为相位属性参数值，j为车道方向变更属性参数值，k为在某车道纵向方向上的空间位置属性参数值，从摄像机的近处开始以增大顺序方式进行编号，离摄像机距离越远k值越大，将k≤T_s时作为近距离，T_s＜k≤T_M时作为中距离，T_M＜k时作为远距离，其中，T_s为排队长度的判断第一基准线，T_M为排队长度的判断第二基准线；1为在某车道横向方向上的空间位置属性参数值，数据范围为0～4；对于采样点的相位属性参数值i，规定与上述路口的相位命名方式相同，即1相位的相位属性参数值i＝1，2相位的相位属性参数值i＝2，3相位的相位属性参数值i＝3，4相位的相位属性参数值i＝4；对于车道方向变更属性参数值j，规定左转的车道方向变更属性参数值j＝1，离左转的车道最近的直行车道的车道方向变更属性参数值j＝2，如果还有直行车道的话就按顺序3、4代号编码，规定右转的车道方向变更属性参数值j＝0，相位出口的车道方向变更属性参数值j＝-1；在定制好车道后接着定制检测采样点，相邻采样点之间的空间实际距离为0.5米，采样点以车道方向自动生成，如果车道的横向宽度为2.5米的话，则在每个车道横向方向均匀生成5个采样点，纵向方向上从视频图像上的道路开始端到末端自动生成若干个采样点，如果从视频图像上的道路开始端到末端在实际道路空间上的距离为60米，则在车道纵向方向上均匀生成120个采样点，生成好的每个采样点都用四维数组S(i，j，k，l)来表达，由于视觉的关系在成像图像上的采样点近处疏、远处密，但是各采样点的实际空间间隔距离都是相同的；定制好的采样点的行驶方向属性、车道方向变更属性、在车道纵向方向上的空间位置属性和在车道横向方向上的空间位置属性的信息保存在存储单元中；车辆排队长度检测模块，用于检测路口某一时刻某一相位i某一车道j的车辆排队长度，包括存在采样点的检测单元、存在采样块的检测单元和车辆排队长度判定单元；其中相位i是由信号灯控制顺序来确定的，有两个相关相位，相位中的车道j是由信号灯控制顺序的相位车道方向变更属性来确定的；所述的存在采样点的检测单元，用于检测在某一相位i某一车道j上的前景对象点；所述的存在采样点的检测单元的检测计算流程Sa～Sh如下：在Sa的计算步骤中，按照从全景视觉传感器在道路上的位置到各采样点所对应的道路上实际位置的距离来设定阈值TH1，阈值TH1是为了在后面对采样点的二值化处理时作为判断标准而设置的；在Sb的计算步骤中，将tn时刻所获得的全景图像按采样点所对应的像素加工成采样点图像，在采样点图像上的采样点所对应的各像素的灰度值是以8位数据表示的；在Sc的计算步骤中，计算基准灰度图像与所述的采样点图像之间的差值，得到两幅图像的差分图像；在Sd的计算步骤中，进行基准灰度图像的背景建模，用公式(1)来不断更新tn时刻的基准灰度图像B_n得到t n+1时刻的基准灰度图像B_n+1：B_n+1＝B_n+φ×(X_n-B_n)                    (1)式中，X_n为t n时刻的采样图像中的各采样点的灰度值，B_n为t n时刻的基准灰度图像的各采样点的灰度值，B_n+1为t n+1时刻的基准灰度图像的各采样点的灰度值，φ为一数值很小的系数；首先计算道路上的各采样点的(X_n-B_n)值，然后在取其值的绝对值|X_n-B_n|，如果该绝对值|X_n-B_n|大于规定的阈值TH2同时该采样点的B_n值与该采样点最近的非存在采样点的灰度值之差的绝对值小于规定的阈值TH3，就判定为有前景对象进入到该采样点上，这时该采样点的更新就以与该采样点最近的非存在采样点的灰度值作为B_n+1；其余采样点的背景建模均按公式(1)进行更新处理；在Se和Sf计算步骤中，用在Sa步骤中所设定的各阈值TH进行二值化处理，得到存在采样点二值化图像F_n；在二值化图像F_n中所有采样点将分为「0」或者「1」两种状态，「1」的表示该采样点上有前景对象存在，即存在采样点；「0」的表示该采样点上不存在前景对象，即非存在采样点；对于31-13相位信号灯控制的3相位侧的信号灯控制，其绿灯长度是由1相位和3相位路口中的车道方向变更属性参数值j＞1的车道的最长等候车辆排队长度状态来确定的，采用四维数组S(i，j，k，l)来表示一个采样点，因此，只要遍历i＝1、j＞1和i＝3、j＞1的所有采样点，对于仅有一条直行车道的情况，只要遍历1相位的120个采样点和3相位的120个采样点；所述的存在采样块的检测单元，用于检测在某车道上存在采样点的连续情况，在存在采样块的检测单元中，采用道路上的一般轿车大小作为匹配检测模版对存在采样点进行匹配检测并对车辆进行计数，如果一般轿车大小在车辆的横向方向上占有3个采样点、在车辆的纵向方向上占有5个采样点，那么就以3×5采样点的模版从路口停车线到检测末端对车道进行匹配检测，匹配开始是设定CarNum(i)＝0，当匹配到存在采样块时就判定为在该位置上有车；对于31-13相位信号灯控制的3相位侧的信号灯控制，即从i＝1、j＞1和k＝0开始进行匹配检测，由于车道横向方向上有5个采样点，即在某一车道同一个横向方向1的范围是0～4，从1的范围0～2开始，然后1～3，接着2～4，每个横向方向上进行三次匹配检测，匹配检测的方法是通过统计计算3×5采样点的模版中有多少存在采样点的情况进行判断的，如果匹配模版中有50％以上的存在采样点，即在3×5采样点的模版中有7个以上的存在采样点就判定为该区域为存在采样块；当某一车道同一个横向方向1检测结束后，如果在上述匹配检测中存在着一个和一个以上的存在块满足匹配检测模版情况时，CarNum(1)＝CarNum(1)+1，k＝k+5；否则k＝k+1；接着继续进行匹配检测直至到某一车道上的末端位置，得到在1相位直行车道上的排队车辆数CarNum(1)；当遍历了1相位的存在采样块的匹配检测后，按照上述算法遍历3相位的存在采样块的匹配检测，即从i＝3、j＞1和k＝0开始进行匹配检测，最后得到在3相位直行车道上的排队车辆数CarNum(3)；所述的车辆排队长度判定单元，用于根据两个相关相位的出口拥堵状态以及入口最长排队车辆数来确定该相位的绿灯时间长度；判定规则如下：当两个相关相位中没有一个相位或者相位的出口以上发生拥堵情况下，取两个相关相位中的最大排队车辆数作为两个相位的车辆排队长度；当两个相关相位中有一个相位的出口发生拥堵情况下，将该相位所对应的入口的车辆排队长度设置为0，将另一个相位作为车辆排队长度；当两个相关相位的出口均发生拥堵情况下，将两个相位所对应的入口的车辆排队长度均设置为0；这里将排队长度小于等于3辆车辆的情况作为短排队长度，以Short表示；将排队长度大于3辆小于8辆车辆的情况作为中排队长度，以Medium表示；将8辆包括8辆车辆以上的情况作为长排队长度，以Long表示；因此，对于每个相位信号灯控制的输入状态有4个，其中，0表示有拥堵、Short表示短排队长度、Medium表示中排队长度、Long表示长排队长度；比如对于31-13相位信号灯控制，如果1相位和3相位的出口处均无发生拥堵的情况下，在1相位的排队车辆数CarNum(1)＝5、3相位的排队车辆数CarNum(3)＝9，根据判定规则取最大排队车辆数为9辆，属于长排队长度，就设定31-13相位信号灯控制的输入状态为Long；相位出口拥堵状态模块，用于检测相位出口处的拥堵状态，包括存在采样点的检测单元、移动存在采样点的检测单元和静止存在采样点的检测单元，规定某相位出口处纵向在停车线的延长线与离该延长线的8米处之间所包括的区域内静止采样点的数目与该区域内的总采样点的数目之比大于阈值TH4，就判定为该相位出口发生拥堵；其中相位i是由信号灯控制顺序来确定的，有两个相关相位；对于1相位和3相位车辆相互直行的情况，就要检测1相位出口的车道方向变更属性参数值j＝-1的车道拥堵状态和3相位出口的车道方向变更属性参数值j＝-1的车道拥堵状态；对于1相位出口处的拥堵检测，首先从i＝1、j＝-1、k＝0到i＝1、j＝-1、k＝15范围内检测所有采样点是否是静止采样点，然后再计算静止采样点与存在采样点的比值Ra，如果比值Ra大于阈值TH4就判定为1相位出口处发生拥堵；对于3相位出口处的拥堵检测，首先从i＝3、j＝-1、k＝0到i＝3、j＝-1、k＝15范围内检测所有采样点是否是静止采样点，然后再计算静止采样点与存在采样点的比值Ra，如果比值Ra大于阈值TH4就判定为1相位出口处发生拥堵；对于相位出口处的采样点从有无前景对象的角度来看存在两种状态，存在采样点，即存在着前景对象的采样点；非存在采样点，即不存在着前景对象的采样点；对于存在采样点，从时间序列的角度来分，分为静止存在采样点和移动存在采样点；相位出口处的拥堵的检测核心是要检测出静止存在采样点；但是要从图像中直接检测出静止存在采样点存在着很大困难，从图像序列中检测并计算出移动存在采样点，然后根据存在采样点和移动存在采样点计算得到静止存在采样点，最后根据静止存在采样点的分布情况得到相位出口处的拥堵状态；所述的移动存在采样点的检测模块，用于检测在相位出口处的移动对象物的前景采样点；对同一场景下不同时刻拍摄的图像进行差分能得到两幅图像中的变化部分的像素点，即得到差分图像，计算方法如公式(2)所示；Z1_n(i)＝X_n(i)-X_n-α(i)                       (2)式中，X_n(i)为t_n时刻的i相位出口处的采样图像中的各采样点的灰度值，X_n-α(i)为t_n-α时刻的i相位出口处的采样图像中的各采样点的灰度值，Z1_n(i)为差分采样图，这里称为第一差分采样图，它表示了经历了α时间后的道路上各采样点变化情况；在第一差分采样图中包括了采样点的两种状态的变化情况，即从「1」到「0」或者从「0」到「1」的变化，要确认是否是移动存在采样点，还需要观测t_n和t_n+β时刻的采样图像中的各采样点的灰度的变化情况，即得到第二差分采样图，计算方法如公式(3)所示；Z2_n(i)＝X_n(i)-X_n+β(i)             (3)式中，X_n(i)为t_n时刻的i相位出口处的采样图像中的各采样点的灰度值，X_n+β(i)为t_n+β时刻的i相位出口处的采样图像中的各采样点的灰度值，Z2_n(i)为差分采样图，这里称为第二差分采样图，它表示了经历了β时间后的i相位出口处的各采样点变化情况；接着，分别用阈值TH1对第一差分采样图Z1_n(i)和用阈值TH2对第二差分采样图Z2_n(i)进行处理，分别得到第一特征提取采样图T1_n(i)和第二特征提取采样图T2_n(i)；移动存在采样点必定存在于第一特征提取采样图T1_n(i)和第二特征提取采样图T2_n(i)之中，因此对第一特征提取采样图T1_n(i)和第二特征提取采样图T2_n(i)进行与运算求得图像中的移动存在采样点，计算公式如(4)所示；Y_n(i)＝T1_n(i)∧T2_n(i)              (4)式中，T1_n(i)为i相位出口处的第一特征提取采样图，T2_n(i)为i相位出口处的第二特征提取采样图，Y_n(i)为i相位出口处的包含有移动采样点的二值采样图；所述的静止存在采样点的检测单元，用于检测路口出口静止前景对象的信息特征点；根据常识，当道路发生拥堵时路口的出口处都挤满了车辆，出口处的这些车辆都处于相对静止状态，这时处于相对静止状态的车辆将以相对集中的多个静止存在采样点的方式表现出来；i相位出口处的存在采样点二值采样图F_n(i)中包含着i相位出口处的移动存在采样点的二值采样图Y_n(i)和i相位出口处的静止存在采样点的二值采样图S_n(i)，因此通过公式(5)计算出i相位出口处的静止存在采样点的二值采样图S_n(i)；S_n(i)＝F_n(i)-Y_n(i)                 (5)式中，S_n(i)为i相位出口处的静止存在采样点二值采样图，F_n(i)为i相位出口处的存在采样点二值采样图，Y_n(i)为i相位出口处的移动采样点二值图；用公式(6)计算静止采样点与存在采样点的比值Ra的百分比；Ra(i)＝(S_n(i)/F_n(i))×100        (6)式中，S_n(i)为i相位出口处的静止存在采样点的总数，由公式(5)计算结果得到；F_n(i)为i相位出口处的存在采样点的总数，由所述的存在采样点的检测单元计算结果得到；Ra(i)为i相位出口处的静止存在采样点的总数与存在采样点的总数的百分比；如果Ra(i)≥TH4就判定为i相位出口处发生拥堵，将i相位信号灯控制输入状态设置成SCSI(i)＝-1；信号灯控制决策模块，用于根据相关相位的拥堵状态和相关相位的车辆排队长度确定相关相位的信号灯切换和信号灯时间，根据表1所示的检测相位与控制相位的关系表、所述的车辆排队长度检测模块和所述的相位出口拥堵状态模块检测结果来确定某相位是否可以切换成绿灯、以及在确定切换成绿灯情况下进一步确定绿灯长度；表1在所述的车辆排队长度判定单元中，对相关相位的拥堵状态和相关相位的车辆排队长度信息进行了融合，直接得到了每个相位信号灯控制的输入状态，用SCSI(i)＝-1表示有拥堵、用SCSI(i)＝Short表示短排队长度、用SCSI(i)＝Medium表示中排队长度、用SCSI(i)＝Long表示长排队长度；因此用公式(7)来计算某相位信号灯的控制决策输出结果，$\mathrm{SCSO}\left(i\right)=\left\{\begin{array}{ccc}-1& \mathrm{when}& \mathrm{SCSI}\left(i\right)=-1\\ G_S& \mathrm{when}& \mathrm{SCSI}\left(i\right)=\mathrm{Short}\\ G_M& \mathrm{when}& \mathrm{SCSI}\left(i\right)=\mathrm{Medium}\\ G_L& \mathrm{when}& \mathrm{SCSI}\left(i\right)=\mathrm{Long}\end{array}\right.---\left(7\right)$式中，SCSO(i)为某相位信号灯的控制决策输出结果，0表示没有绿灯相位控制时间，即保持红灯状态、G_S表示短绿灯相位控制时间，本设置在15秒左右；G_M表示中绿灯相位控制时间，设置在40秒左右；G_L表示长绿灯相位控制时间，设置在60秒左右；SCSI(i)为某相位信号灯的控制决策输入状态，与该相位的拥堵以及排队长度有关；具体过程如下：从存储单元中读取各种定制数据和路口相位控制顺序，背景建模，初设第一个相位控制信号灯时间，判断倒计时定时时间到否，如果到时就进入检测和控制流程；接着信号灯控制模块输出控制信号灯切换，根据信号灯时间开始进行倒计时，根据目前相位控制顺序得到下一个相位控制顺序，相位控制顺序是由路口相位控制顺序编排模块来确定的；相位出口拥堵状态模块根据相位控制顺序编号计算相关相位的拥堵状态，对于每个相位控制顺序都需要进行两个相关相位出口处的拥堵状态的检测；车辆排队长度检测模块根据相位控制顺序编号计算相关相位相关车道的车辆排队长度，对于每个相位控制顺序都需要进行相关相位中两个或者两个以上车道上的车辆排队长度的检测；信号灯控制决策模块根据相关相位的拥堵状态和相关相位的车辆排队长度确定相关相位的信号灯切换和信号灯时间，然后返回继续下一个相位控制顺序控制；信号灯控制模块，用于根据信号灯控制决策模块的决策结果实现路口信号灯的智能控制；所述的摄像装置通过所述的视频接口与所述的微处理器连接，将路口交通状态检测和信号灯控制计算结果通过通信单元发送给信号灯控制单元和交通状态发布单元。