发明名称 一种复杂场景中多摄影机协同的人物追踪方法
摘要 本发明公开了一种复杂场景中多摄影机协同的人物追踪方法,包括以下步骤:A1、运动目标监测;A2、场景图像增强:以模糊理论为基础将场景图像的亮度值转成模糊矩阵,并针对此矩阵做实时模糊强化,以增强图像中的阴暗部分,并保留各像素点多原饱和度信息,以确保运动目标的有效监测;A3、多摄像机的指定目标跟踪。本发明建模简单,简练算法,检测准确,能有效跟踪各个监控区域中的突发事件,提高了系统的自主分析性能和智能监控能力,探索了适应于不同光照、不同气候及复杂背景的鲁棒的对象检测与跟踪方法,有助于改善公共场所的安全监控水平。
申请公布号 CN102663743B 申请公布日期 2016.06.08
申请号 CN201210078690.3 申请日期 2012.03.23
申请人 西安电子科技大学 发明人 王韦桦;刘志镜;屈鉴铭;贺文骅;唐国良;赵俊敏;熊静;侯晓慧;王静;袁通;刘慧;王纵虎;陈东辉;姚勇
分类号 G06T7/00(2006.01)I;H04N7/18(2006.01)I 主分类号 G06T7/00(2006.01)I
代理机构 代理人
主权项 一种复杂场景中多摄影机协同的人物追踪方法,其特征在于:包括以下步骤:A1、运动目标监测:分析由各个摄像机获取的监控视频,将视频转换成相应的图像序列,使用一种改进的利用时间差分法结合背景减除法建立背景模型,并针对不同的区域采取不同的更新策略;A2、场景图像增强:以模糊理论为基础将场景图像的亮度值转成模糊矩阵,并针对此矩阵做实时模糊强化,以增强图像中的阴暗部分,并保留各像素点的饱和度信息,以确保运动目标的有效监测;A3、多摄像机的指定目标跟踪:以图像连通区域标记过滤前景破碎小块区域并记录各块连通区域的相关信息,接着针对各摄像机所获取的运动目标区域利用其中所包含的RGB颜色信息和该运动目标区域块所对应的位置信息进行运动目标辨识,并将各运动目标区分为5种状态进行跟踪,再分析摄像机之间获取的运动目标的关联性,融合多摄像机进行协同监测从而完成全局场景人物实时监控目标,5种状态包括:进入场景、离开场景、目标匹配、目标遮挡、前景目标丢失,所述步骤A1,首先通过时间差分法得到二值图像找到大致运动区域,并且对背景按式(1)进行更新,对检测结果中前景像素的背景模型不进行更新,而对比较稳定的背景像素进行更新,并可根据检测结果中是否存在运动目标采用不同的更新速度,<img file="FSB0000149232740000011.GIF" wi="1728" he="240" />式(1)中B<sub>t</sub>(x,y)和B<sub>t‑1</sub>(x,y)分别代表当前时刻和前一时刻的背景图像,f(x,y)表示当前输入图像,M<sub>t</sub>(x,y)则描述的是二值化的前景图像,更新速度α和β分别为设定的一个较快的更新速度和较慢的更新速度,β>α,TargetCount为检测到的运动目标的个数,所述步骤A2,对由于光照变化和天气变化造成场景变换,所需的图像增强方法包括如下步骤:步骤A21:将图像转换到HIS颜色空间,并进行模糊化;步骤A22:对模糊化的图像进行亮度增强,同时保持相应像素点的饱和度;步骤A23:将增强后的图像复原到RGB颜色空间;所述A21将图像转换到HIS颜色空间,并进行模糊化的过程为:首先给定一张分辨率为M*N、灰度值范围为[0,L‑1]的灰度图像,则可将此图像视为一M列N行的矩阵,也就是将输入图像视为一二维矩阵:<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><mi>F</mi><mo>=</mo><munderover><mrow><mi></mi><mo>&cup;</mo></mrow><mrow><mi>x</mi><mo>=</mo><mn>1</mn></mrow><mi>M</mi></munderover><mrow><munderover><mrow><mi></mi><mo>&cup;</mo></mrow><mrow><mi>y</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><mrow><mo>(</mo><mrow><msub><mi>&mu;</mi><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>/</mo><msub><mi>f</mi><mrow><mi>x</mi><mi>y</mi></mrow></msub></mrow><mo>)</mo></mrow></mrow><mo>,</mo><mn>0</mn><mo>&le;</mo><msub><mi>&mu;</mi><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>&le;</mo><mn>1</mn></mrow>]]></math><img file="FSB0000149232740000021.GIF" wi="599" he="144" /></maths>其中f<sub>xy</sub>代表该像素的灰度值,若模糊矩阵中元素值越接近代表其模糊度越高,反之则越低,将需要增强的图像由RGB颜色空间转换至HSI颜色空间<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><mi>r</mi><mo>=</mo><mfrac><mi>R</mi><mrow><mi>R</mi><mo>+</mo><mi>G</mi><mo>+</mo><mi>B</mi></mrow></mfrac><mo>;</mo><mi>g</mi><mo>=</mo><mfrac><mi>G</mi><mrow><mi>R</mi><mo>+</mo><mi>G</mi><mo>+</mo><mi>B</mi></mrow></mfrac><mo>;</mo><mi>b</mi><mo>=</mo><mfrac><mi>B</mi><mrow><mi>R</mi><mo>+</mo><mi>G</mi><mo>+</mo><mi>B</mi></mrow></mfrac></mrow>]]></math><img file="FSB0000149232740000022.GIF" wi="872" he="125" /></maths><maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><mi>h</mi><mo>=</mo><mn>2</mn><mi>&pi;</mi><mo>-</mo><msup><mi>cos</mi><mrow><mo>-</mo><mn>1</mn></mrow></msup><mo>{</mo><mfrac><mrow><mn>0.5</mn><mo>*</mo><mo>&lsqb;</mo><mrow><mo>(</mo><mi>r</mi><mo>-</mo><mi>g</mi><mo>)</mo></mrow><mo>+</mo><mrow><mo>(</mo><mi>r</mi><mo>-</mo><mi>b</mi><mo>)</mo></mrow><mo>&rsqb;</mo></mrow><msqrt><mrow><msup><mrow><mo>(</mo><mi>r</mi><mo>-</mo><mi>g</mi><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><mrow><mo>(</mo><mi>r</mi><mo>-</mo><mi>b</mi><mo>)</mo></mrow><mo>*</mo><mrow><mo>(</mo><mi>g</mi><mo>-</mo><mi>b</mi><mo>)</mo></mrow></mrow></msqrt></mfrac><mo>}</mo><mo>,</mo><mi>b</mi><mo>&le;</mo><mi>g</mi><mo>;</mo><mi>h</mi><mo>&Element;</mo><mo>&lsqb;</mo><mi>&pi;</mi><mo>,</mo><mn>2</mn><mi>&pi;</mi><mo>&rsqb;</mo></mrow>]]></math><img file="FSB0000149232740000023.GIF" wi="1279" he="219" /></maths>以亮度(I)值进行模s=1‑3*min(r,g,b);s∈[0,1]i=(R+G+B)/(3*255);i∈[0,1]糊化,I可视为模糊矩阵中之f<sub>xy</sub>,并以对应差距比例值的方式定义μ值,如公式<maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><msub><mi>&mu;</mi><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>=</mo><mfenced open = "{" close = ""><mtable><mtr><mtd><mrow><mo>(</mo><msub><mi>f</mi><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>-</mo><msub><mi>f</mi><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow></msub><mo>)</mo><mo>/</mo><mo>(</mo><mover><mi>f</mi><mo>&OverBar;</mo></mover><mo>+</mo><mi>&sigma;</mi><mo>-</mo><msub><mi>f</mi><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow></msub><mo>)</mo><mo>,</mo><msub><mi>f</mi><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>&le;</mo><mover><mi>f</mi><mo>&OverBar;</mo></mover><mo>+</mo><mn>2</mn><mi>&sigma;</mi></mrow></mtd></mtr><mtr><mtd><mrow><mo>(</mo><msub><mi>f</mi><mrow><mi>m</mi><mi>a</mi><mi>x</mi></mrow></msub><mo>-</mo><msub><mi>f</mi><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>)</mo><mo>/</mo><mo>(</mo><msub><mi>f</mi><mrow><mi>m</mi><mi>a</mi><mi>x</mi></mrow></msub><mo>-</mo><mover><mi>f</mi><mo>&OverBar;</mo></mover><mo>-</mo><mi>&sigma;</mi><mo>)</mo><mo>,</mo><msub><mi>f</mi><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>&gt;</mo><mover><mi>f</mi><mo>&OverBar;</mo></mover><mo>+</mo><mn>2</mn><mi>&sigma;</mi></mrow></mtd></mtr></mtable></mfenced></mrow>]]></math><img file="FSB0000149232740000024.GIF" wi="935" he="170" /></maths>所示,其中σ代表标准偏差,f<sub>min</sub>代表整张图像最小I值,f<sub>max</sub>代表整张图像最大I值,<img file="FSB0000149232740000025.GIF" wi="40" he="61" />代表整张图像I之平均值,转换后μ值皆介于0至1之间符合模糊化的限制;所述A22:对模糊化的图像进行亮度增强,同时保持相应像素点的饱和度方法为:除针对μ值做强化外,为保持图像本身的饱和度,故需调整饱和度值S以使其颜色看起来符合常理,故本发明将原S值取0.5次方作为新S’值<maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><mi>x</mi><mo>=</mo><mi>i</mi><mo>*</mo><mrow><mo>(</mo><mrow><mn>1</mn><mo>-</mo><mi>s</mi></mrow><mo>)</mo></mrow></mrow></mtd></mtr><mtr><mtd><mrow><mi>y</mi><mo>=</mo><mi>i</mi><mo>*</mo><mrow><mo>&lsqb;</mo><mrow><mn>1</mn><mo>+</mo><mfrac><mrow><mi>s</mi><mo>*</mo><mi>cos</mi><mrow><mo>(</mo><mi>h</mi><mo>)</mo></mrow></mrow><mrow><mi>cos</mi><mrow><mo>(</mo><mrow><mi>&pi;</mi><mo>/</mo><mn>3</mn><mo>-</mo><mi>h</mi></mrow><mo>)</mo></mrow></mrow></mfrac></mrow><mo>&rsqb;</mo></mrow></mrow></mtd></mtr><mtr><mtd><mrow><mi>z</mi><mo>=</mo><mn>3</mn><mo>*</mo><mi>i</mi><mo>-</mo><mi>x</mi><mo>-</mo><mi>y</mi></mrow></mtd></mtr><mtr><mtd><mrow><mi>r</mi><mo>=</mo><mi>y</mi><mo>,</mo><mi>g</mi><mo>=</mo><mi>z</mi><mo>,</mo><mi>b</mi><mo>=</mo><mi>x</mi><mo>;</mo><mi>h</mi><mo>&lt;</mo><mn>2</mn><mi>&pi;</mi><mo>/</mo><mn>3</mn></mrow></mtd></mtr><mtr><mtd><mrow><mi>r</mi><mo>=</mo><mi>x</mi><mo>,</mo><mi>g</mi><mo>=</mo><mi>y</mi><mo>,</mo><mi>b</mi><mo>=</mo><mi>z</mi><mo>;</mo><mn>2</mn><mi>&pi;</mi><mo>/</mo><mn>3</mn><mo>&le;</mo><mi>h</mi><mo>&lt;</mo><mn>4</mn><mi>&pi;</mi><mo>/</mo><mn>3</mn><mo>,</mo><mi>h</mi><mo>=</mo><mi>h</mi><mo>-</mo><mn>2</mn><mi>&pi;</mi><mo>/</mo><mn>3</mn></mrow></mtd></mtr><mtr><mtd><mrow><mi>r</mi><mo>=</mo><mi>z</mi><mo>.</mo><mi>g</mi><mo>=</mo><mi>x</mi><mo>.</mo><mi>b</mi><mo>=</mo><mi>y</mi><mo>;</mo><mn>4</mn><mi>&pi;</mi><mo>/</mo><mn>3</mn><mo>&le;</mo><mi>h</mi><mo>&lt;</mo><mn>2</mn><mi>&pi;</mi><mo>,</mo><mi>h</mi><mo>=</mo><mi>h</mi><mo>-</mo><mn>4</mn><mi>&pi;</mi><mo>/</mo><mn>3</mn></mrow></mtd></mtr><mtr><mtd><mrow><mi>r</mi><mo>*</mo><mn>255</mn><mo>;</mo><mi>g</mi><mo>*</mo><mn>255</mn><mo>;</mo><mi>b</mi><mo>*</mo><mn>255</mn></mrow></mtd></mtr></mtable><mo>;</mo></mrow>]]></math><img file="FSB0000149232740000031.GIF" wi="1051" he="585" /></maths>公式1所述A23:将增强后的图像复原到RGB颜色空间方法为:将增强的μ值代回公式<maths num="0006" id="cmaths0006"><math><![CDATA[<mrow><msub><mi>&mu;</mi><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>=</mo><mfenced open = "{" close = ""><mtable><mtr><mtd><mrow><mo>(</mo><msub><mi>f</mi><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>-</mo><msub><mi>f</mi><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow></msub><mo>)</mo><mo>/</mo><mo>(</mo><mover><mi>f</mi><mo>&OverBar;</mo></mover><mo>+</mo><mi>&sigma;</mi><mo>-</mo><msub><mi>f</mi><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow></msub><mo>)</mo><mo>,</mo><msub><mi>f</mi><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>&le;</mo><mover><mi>f</mi><mo>&OverBar;</mo></mover><mo>+</mo><mn>2</mn><mi>&sigma;</mi></mrow></mtd></mtr><mtr><mtd><mrow><mo>(</mo><msub><mi>f</mi><mrow><mi>m</mi><mi>a</mi><mi>x</mi></mrow></msub><mo>-</mo><msub><mi>f</mi><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>)</mo><mo>/</mo><mo>(</mo><msub><mi>f</mi><mrow><mi>m</mi><mi>a</mi><mi>x</mi></mrow></msub><mo>-</mo><mover><mi>f</mi><mo>&OverBar;</mo></mover><mo>-</mo><mi>&sigma;</mi><mo>)</mo><mo>,</mo><msub><mi>f</mi><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>&gt;</mo><mover><mi>f</mi><mo>&OverBar;</mo></mover><mo>+</mo><mn>2</mn><mi>&sigma;</mi></mrow></mtd></mtr></mtable></mfenced></mrow>]]></math><img file="FSB0000149232740000032.GIF" wi="934" he="174" /></maths>求得新的灰度值I’,H、S’、I’三值代入式(1)复原回RGB颜色空间,即完成图像的强化处理。
地址 710071 陕西省西安市太白南路2号