一种监控视频中的行人数据结构化存储及预检索方法

摘要

本发明公开了一种监控视频中的行人数据结构化存储及预检索方法,首先在监控视频采集过程中，运用视频中的行人检测方法，检测出视频中的行人，记录其坐标和出现时间信息，并提取行人的颜色直方图特征，然后以颜色直方图特征作为索引，对行人数据进行结构化存储，并与原视频数据进行关联。当需要检索监控视频中某行人目标时，仅需输入该行人的颜色直方图信息，便能快速的粗略定位其在监控视频中出现的时间和位置。

主权项

一种监控视频中的行人数据结构化存储及预检索方法，首先在监控视频采集过程中，运用视频中的行人检测方法，检测出视频中的行人，记录其坐标和出现时间信息，并提取行人的颜色直方图特征，然后以颜色直方图特征作为索引，对行人数据进行结构化存储，并与原视频数据进行关联，当需要检索监控视频中某行人目标时，输入该行人的颜色直方图信息，然后与数据库中特定时间阶段的行人数据进行相似度匹配与检索，找出相应行人个体在视频中出现的时间位置信息，并输出最终结果，实现行人数据的预检索，为智能或者人工深度检索提供预处理服务，其特征在于，监控视频中的行人数据结构化存储需要在视频采集过程中同步实现，以充分利用监控设备前端计算资源，其具体实现步骤是：1)检测视频中的行人：首先，充分收集固定分辨率的行人图像和非行人背景图像，作为训练样本离线训练一个行人检测分类器，然后基于ViBe运动检测方法，提取出监控视频中的运动区域，并对运动区域分割待检测目标块，并对目标块提取特征，最后，运用行人检测分类器检测运动区域中的行人，提取出行人目标数据，得到行人在帧图像中的位置块信息；2)提取行人的颜色直方图特征：首先对行人图像从RGB颜色空间转换到HSV颜色空间；由于人眼对HSV模型的敏感程度排序依次为色调、饱和度、亮度，根据人类敏感程度的不同，因此对三个分量进行不同程度的量化，对色度量化为15个级别，对饱和度和亮度均量化为5个级别，则最终的颜色直方图为375维的向量；假设色度为h，饱和度为s，亮度为v，通过赋予h、s、v不同权值，相加组合成为相应颜色的离散量化值L：L＝25h+5s+v   (1)HSV模型能够在一维矢量上实现离散分布，其中L∈[0,374]，实现对图像375个柱的直方图统计,相当于是一个一维的特征向量：$H\left(i\right)=\frac{m_i}{M},i=1,2,...,L---\left(2\right)$其中，H代表1×L的颜色直方图特征向量，m_i代表颜色离散值为i的像素数，M代表总的像素数；由于行人检测过程中得到的是行人的位置块，包含背景信息，因此需根据运动区域信息，限定直方图提取范围，只统计行人检测块中运动区域的颜色直方图，减少背景对颜色直方图特征的干扰；3)根据颜色直方图特征对相邻帧间行人数据关联：对相邻帧中的行人检测结果进行关联，每个行人从其出现的视频帧中随机抽取数幅图像进行存储；首先提取帧图像中每个行人目标的颜色直方图特征，然后进行相似度匹配，求行人目标之间的推土机距离D_emd，即把一个直方图变成另外一个直方图的最小花费，对上一帧的每个行人目标检测结果，取在一定距离范围内相似度最高的当前帧结果作为重复目标，即求min(D_emd)，然后对前后帧目标进行选择性剔除；其中所述推土机距离D_emd的计算公式如下：$D_{emd}(q,p)=\frac{\underset{i,j}{\Sigma }{d}_{i,j}{g}_{i,j}}{\underset{i,j}{\Sigma }{g}_{i,j}}---\left(3\right)$式(3)中d_i,j代表颜色分量i到颜色分量j的距离，g_i,j＞0是i到j需要的花费，p和q代表两个行人目标；建立行人数据队列其中：N_p为行人数据队列中的元素个数，I为目标图像，H为颜色直方图，T_beg为开始时刻，T_last为持续时间，当前帧的行人检测结果为Obj＝{Obj₁,Obj₂，…,Obj_M}，对于任意P_i，当min(D_emd(P_i,Obj_k))＜τ时，则成P_i与Obj_k为同一行人目标，剔除其中之一，更新P_i；对于任意的Obj_k，如果不存在P_i满足min(D_emd(P_i,Obj_k))＜τ，则称Obj_k为新目标，加入队列P中，并更新N_P＝N_P+1；其中τ为阈值；4)维护行人数据队列：对于任意P_i，如果连续n_T帧在目标查重过程中没有匹配成功，则从队列P中删除P_i，n_T＝5，如果则转到步骤5)，将P_i保存到数据库中；如果则将此目标判定为误检目标，并将其删除；5)行人目标数据的结构化存储对保留下来的每个行人目标进行结构化存储，保存每个行人目标的关键帧图像、颜色直方图信息和在视频中出现的时间片数据，以颜色直方图特征为索引构建行人数据库，基于此数据库实现视频中特定目标的查询或者筛选；设数据库的存储内容为Ped＝{Ped₁,Ped₂,…,Ped_N}，其中Ped_i代表一个元组，${\mathrm{Ped}}_i=(I^i,H^i,T_{beg}^i,T_{last}^i).$