发明名称 一种自然环境下运动物体监测方法
摘要 本发明涉及一种自然环境下运动物体监测方法,该方法基于时空信息融合与特征识别,主要包括背景分析、前景提取、去除阴影、背景更新。其思想是将图像序列均转换为HSV颜色模型,并分析比较各像素点参数在某一时间段内的变化规律,通过判定公式的判定,便可区分出各像素点在某一帧中是属于背景点、运动物体点还是阴影点。本发明针对风、阳光、闪电等自然条件可能带来的影响进行了算法的改进,并能够在光照突变、运动物体静止后融入背景、背景物体转为运动等情况下智能更新背景,适用于自然环境下运动物体的监测。
申请公布号 CN103208126A 申请公布日期 2013.07.17
申请号 CN201310133321.4 申请日期 2013.04.17
申请人 同济大学 发明人 简小刚;徐晓翔;李晓华
分类号 G06T7/20(2006.01)I;G06T5/00(2006.01)I;G06K9/46(2006.01)I 主分类号 G06T7/20(2006.01)I
代理机构 上海正旦专利代理有限公司 31200 代理人 张磊
主权项 1.一种自然环境下运动物体监测方法,其特征在于该方法基于时空信息融合与特征识别,具体步骤包括背景分析、前景提取、去除阴影和背景更新;(1)背景分析在获取监控视频后,将图像序列均转换为HSV颜色模型,建立以各像素点坐标(x, y)、色调H值、饱和度S值和亮度V值为元素的向量<i>G</i>,则<i>G</i><sub><i>i</i></sub>(<i>x</i>, <i>y</i>, 1)、<i>G</i><sub><i>i</i></sub>(<i>x</i>, <i>y</i>, 2)和<i>G</i><sub><i>i</i></sub>(<i>x</i>, <i>y</i>, 3)分别代表第<i>i</i>帧图像(<i>x</i>, <i>y</i>)处像素点的色调H值、饱和度S值和亮度V值;选取监控视频的前<i>N</i>帧作为训练帧,计算出像素点(<i>x</i>, <i>y</i>)在这<i>N</i>帧内色调H、饱和度S、亮度V三个值各自的均值<i>μ</i>(<i>x</i>, <i>y</i>, <i>c</i>)、标准差<i>σ</i>(<i>x</i>, <i>y</i>, <i>c</i>),其中<i>c</i>=1、2、3;利用判定公式选取出稳态像素值;<img file="2013101333214100001DEST_PATH_IMAGE002.GIF" wi="233" he="28" /><i>λ</i>为判定系数;并计算出这些稳态像素色调H、饱和度S、亮度V三个值各自的均值<i>μ</i><sub><i>S</i></sub>(<i>x</i>, <i>y</i>, <i>c</i>)、标准差<i>σ</i><sub><i>S</i></sub>(<i>x</i>, <i>y</i>, <i>c</i>)、最小值min<sub><i>S</i></sub>(<i>x</i>, <i>y</i>,<i> c</i>)以及最大值max<sub><i>S</i></sub>(<i>x</i>, <i>y</i>, <i>c</i>),则第一张背景参考图<i>R</i><sub><i>i</i></sub>(<i>x</i>, <i>y</i>)(<i>i</i>=1时)可由均值<i>μ</i><sub><i>S</i></sub>(<i>x</i>, <i>y</i>, <i>c</i>)确定,即图像<i>R</i><sub>1</sub>(<i>x</i>, <i>y</i>)中的像素点均为背景点;(2)前景提取得到背景参考图后,将当前帧图<i>G</i><sub><i>i</i></sub>(<i>x</i>, <i>y</i>)与背景参考图<i>R</i><sub><i>i</i></sub>(<i>x</i>, <i>y</i>)作差分运算,差分结果图<img file="2013101333214100001DEST_PATH_IMAGE004.GIF" wi="229" he="28" />采用前景判定公式表示为<img file="2013101333214100001DEST_PATH_IMAGE006.GIF" wi="301" he="52" />,其中阈值<img file="2013101333214100001DEST_PATH_IMAGE008.GIF" wi="349" he="42" />;当且仅当色调H、饱和度S和亮度V三个值的差分结果<i>D</i><sub><i>i</i></sub>(<i>x</i>, <i>y</i>, <i>c</i>)同时大于各自的阈值<i>Th</i><sub><i>c</i></sub>时,该像素点(<i>x</i>, <i>y</i>)为非背景点,保留为原帧图中的像素值;反之即为背景点,用0值代替;所有非背景点的集合即为前景图像,为适应光照随时间的渐变,所有背景点的各参数值需要更新进背景参考图中;更新对象为第<i>i</i>帧各像素点色调H、饱和度S、亮度V三个值各自的均值<i>μ</i><sub><i>i</i></sub>(<i>x</i>, <i>y</i>, <i>c</i>)、标准差<i>σ</i><sub><i>i</i></sub>(<i>x</i>, <i>y</i>, <i>c</i>)、最小值min<sub><i>i</i></sub>(<i>x</i>, <i>y</i>,<i> c</i>)以及最大值max<sub><i>i</i></sub>(<i>x</i>, <i>y</i>, <i>c</i>),具体更新公式表示为<img file="2013101333214100001DEST_PATH_IMAGE010.GIF" wi="301" he="25" /><img file="2013101333214100001DEST_PATH_IMAGE012.GIF" wi="434" he="33" /><img file="2013101333214100001DEST_PATH_IMAGE014.GIF" wi="297" he="25" /><img file="2013101333214100001DEST_PATH_IMAGE016.GIF" wi="286" he="25" />,其中:α为更新率,各参数的初始值为第一步背景分析中得到的稳态像素点的各个参数值;更新后得到的背景参考图<i>R</i><sub><i>i</i></sub>(<i>x</i>, <i>y</i>)由均值<i>μ</i><sub><i>i</i></sub>(<i>x</i>, <i>y</i>, <i>c</i>)确定;(3)去除阴影前景提取得到的非背景点中既有运动物体点也有运动物体阴影点,而阴影点对于识别来说是不可取的,需要将其检测出来并去除,以获得真正的运动物体特征;由于被阴影覆盖后的像素点的亮度V值变化较大,但饱和度S值和色调H值变化很小,利用这一特性将阴影点与实际运动物体点区分开来,判定公式表示为<img file="2013101333214100001DEST_PATH_IMAGE018.GIF" wi="352" he="124" />,其中<i>a</i>、<i>b</i>为亮度阈值,其取值大小与光照条件有关,<i>Th</i><sub><i>S</i></sub>为饱和度阈值,<i>Th</i><sub><i>H</i></sub>为色调阈值,四个阈值均为经验值,必要时需手动调试;去除阴影之后,运动物体的检测工作即完成,但为了提高检测的准确程度,还需要针对一些特殊情况下的检测工作进行方法的改进;本发明基于特征识别方法在背景更新这一步进行改进;(4)背景更新背景更新包括背景参数实时更新和特殊情况下背景更新;背景参数实时更新同步骤(2)前景提取;特殊情况下背景更新包括光照突变情况下的背景参考图的更新和运动物体静止后融入背景、背景物体转为运动的背景参考图的更新;光照突变情况下的背景参考图的更新,首先对检测出来前景图像二值化;其次,对二值图像先闭运算,再开运算,再闭运算,利用数学形态学修正来消除噪声及一些细小空洞的影响;最后,进行连通域的判断,所有连通的像素点即为同一个物体上的点,便可得到二值图中运动物体的个数,进而计算出各个物体的质心和面积;当检测出来的运动物体总面积大于图像面积的80%时,即可判定该情况是光照发生了突变;如果这种情况并未持续50帧,则可认为是闪电等短暂的光照突变,可跳过该帧不进行处理;如果这种情况持续了50帧以上,则需要重新建立一个背景参考图,重建可取从该帧开始的连续<i>N</i>帧进行训练;运动物体静止后融入背景、背景物体转为运动这类情况下背景参考图的更新,需要从修正后的彩色前景图中提取出运动物体的颜色特征,包括运动物体区域所含各像素点色调H、饱和度S、亮度V值的均值<i>μ</i><sub><i>c</i></sub>、标准差<i>σ</i><sub><i>c</i></sub>和偏度<i>S</i><sub><i>c</i></sub>,即<img file="2013101333214100001DEST_PATH_IMAGE020.GIF" wi="146" he="46" /><img file="2013101333214100001DEST_PATH_IMAGE022.GIF" wi="209" he="52" /><img file="2013101333214100001DEST_PATH_IMAGE024.GIF" wi="207" he="52" />,其中:A为彩色前景图中运动物体区域,<i>N</i>为运动物体区域中包含的像素点个数;建立以物体面积、运动物体区域所含各像素点色调H值、饱和度S值、亮度V值的均值<i>μ</i><sub><i>c</i></sub>、标准差<i>σ</i><sub><i>c</i></sub>和偏度<i>S</i><sub><i>c</i></sub>共10个参量为元素的向量W,则向量W可作为被检测物体的特征向量;如果当前帧的物体特征向量与前一帧物体特征向量的欧式距离小于某一个阈值T<sub>1</sub>,则认为前后两帧检测出的物体特征相似,可判定并非新物体进入场景;反之可判定有新物体进入场景;如果当前帧物体质心与前一帧物体质心的直线距离小于某一阈值T<sub>2</sub>,且两物体特征相似,则可认为是运动物体静止了,或者是背景物体转为运动;当这种情况持续了50帧以上时,需要重新建立背景参考图,重建可取从该帧开始的连续N帧进行训练。
地址 200092 上海市杨浦区四平路1239号