全景视频序列图像的多目标对象跟踪系统

摘要

一种全景视频序列图像的多目标对象跟踪系统，包括用于获取大范围场景的全方位摄像装置和用于对全方位摄像装置所拍摄的全景图像进行视频分析处理的微处理器；在运动目标对象提取和简单多目标对象跟踪处理过程中，采用了一种计算复杂度不高、参数和阈值选取比较简单、便于在片上系统中实现的MHoEI算法；为了实现多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪，依次根据匹配的结果分别通过目标对象的运动特征、颜色特征和形状特征进行跟踪，在改善了跟踪效率的同时也提高了多目标对象跟踪的鲁棒性。

主权项

一种全景视频序列图像的多目标对象跟踪系统，其特征在于：所述全景视频序列图像的多目标对象跟踪系统包括用以捕获到整个场景内目标对象的全景视频图像的全方位摄像装置，所述全方位摄像装置用ODVS表示，所述ODVS安置在监控场景的中部上方，所述ODVS通过USB接口与微处理器进行连接；所述的微处理器通过计算机网络与PC机进行连接；所述的微处理器包括：视频图像读取单元，用于通过USB接口读取ODVS所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给目标对象检测单元；目标对象检测跟踪单元，用于检测在全景柱状展开图像中存在的移动目标对象，并用矩形框框住目标对象，用一种Motion History or Energy Images算法，以下简称MHoEI算法，用目标对象的运动历史和能量图像来提取和跟踪目标对象；所述的PC主要进行全景视频图像的形式化处理和行为语义化处理，多目标对象跟踪单元用于多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪；所述的视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给所述的目标对象检测跟踪单元；所述的目标对象检测跟踪单元，用于检测和跟踪在全景柱状展开图像中存在的运动目标对象，采用MHoEI算法对目标对象的运动历史和能量图像来提取和跟踪目标对象，得到感兴趣区域ROI、区域的质心坐标值以及区域框的大小值；这些目标对象的提取和跟踪数据并同全景视频图像以软件接口的方式通过网络递交给所述的多目标对象跟踪单元进行处理；所述的多目标对象跟踪单元，用于多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪；所述的目标对象检测跟踪单元，为了实现运动目标对象有效分割和在分割的同时消除运动目标所产生的阴影，在进行帧差法过程中利用阴影与非阴影区域区别的某些特征来消除阴影，主要依据阴影区域中像素的色度与背景像素色度相比几乎相等的特征，将原图像的RGB色彩空间转化成HSI色彩空间，然后再进行帧差法运算就能消除阴影，RGB色彩空间转化成HSI色彩空间的计算方法如公式(7)所示，$H=\left\{\begin{array}{c}\theta ......G\ge B\\ 2\pi -\theta ...G<B\end{array}\right.$$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right]---\left(7\right)$$\theta =\arccos \left\{\frac{[(R-G)+(R-B)]/2}{[{(R-G)}^2+(R-B)(G-B){]}^{1/2}}\right\}$式中，R是RGB色彩空间中的红色分量，G是RGB色彩空间中的绿色分量，B是RGB色彩空间中的蓝色分量；H为HSI色彩空间中的色调，用角度表示，反映了颜色最接近什么样的光谱波长；S为HSI色彩空间中的饱和度，表征颜色的深浅程度；色调H与饱和度S合起来称色度；对于距离ODVS的远处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如(8)所示，${\mathrm{IP}}_{L,H}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1......\mathrm{if}|{\mathrm{Pix}}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-3}(i,j)|>\mathrm{Threshold}1\\ 0......\mathrm{else}\end{array}\right.---\left(8\right)$${\mathrm{IP}}_{L,S}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1......\mathrm{if}|{\mathrm{pix}}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-3}(i,j)|>\mathrm{Threshold}1\\ 0......\mathrm{else}\end{array}\right.$式中，IP_L,HImage(i,j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i,j)点的检测结果，IP_L,SImage(i,j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H,t(i,j)和Pix_H,t‑3(i,j)分别表示全景视频图像的上部H颜色分量在第t时刻和第t‑3时刻图像帧中坐标为(i,j)点的像素值，Pix_S,t(i,j)和Pix_S,t‑3(i,j)分别表示全景视频图像的上部S颜色分量在第t时刻和第t‑3时刻图像帧中坐标为(i,j)点的像素值，Threshold1是相应的判断阈值，这里取值为45；对于距离ODVS的中远处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如(9)所示，${\mathrm{IP}}_{M,H}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1......\mathrm{if}|{\mathrm{Pix}}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-2}(i,j)|>\mathrm{Threshold}2\\ 0......\mathrm{else}\end{array}\right.---\left(9\right)$${\mathrm{IP}}_{M,S}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1......\mathrm{if}|{\mathrm{Pix}}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-2}(i,j)|>\mathrm{Threshold}2\\ 0......\mathrm{else}\end{array}\right.$式中，IP_M,HImage(i,j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i,j)点的检测结果，IP_M,SImage(i,j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H,t(i,j)和Pix_H,t‑2(i,j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t‑2时刻图像帧中坐标为(i,j)点的像素值，Pix_S,t(i,j)和Pix_S,t‑2(i,j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t‑2时刻图像帧中坐标为(i,j)点的像素值，Threshold2是相应的判断阈值，这里取值为45；对于距离ODVS的近处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如(10)所示，${\mathrm{IP}}_{N,H}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1......\mathrm{if}|{\mathrm{Pix}}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-1}(i,j)|>\mathrm{Threshold}3\\ 0......\mathrm{else}\end{array}\right.---\left(10\right)$${\mathrm{IP}}_{M,S}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1......\mathrm{if}|{\mathrm{Pix}}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-1}(i,j)|>\mathrm{Threshold}3\\ 0......\mathrm{else}\end{array}\right.$式中，IP_N,HImage(i,j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i,j)点的检测结果，IP_N,SImage(i,j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H,t(i,j)和Pix_H,t‑1(i,j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t‑1时刻图像帧中坐标为(i,j)点的像素值，Pix_S,t(i,j)和Pix_S,t‑1(i,j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t‑1时刻图像帧中坐标为(i,j)点的像素值，Threshold3是相应的判断阈值，这里取值为45；最后，对于分割后的目标对象拼合整理处理；一方面，由于色度主要由色调H与饱和度S两个部分构成，这里需要进行或运算处理；另一方面，在P4、P5和P6处理过程中将整幅全景图像分割为上、中、下三个部分，这里也需要进行或运算处理；经过这样处理得到整幅全景图像上的运动目标对象的分割图像，处理方法如公式(11)所示，D(x,y,t)＝IP_L,HImage(i,j)∨IP_L,SImage(i,j)∨IP_M,HImage(i,j)∨IP_M,SImage(i,j)∨IP_N,HImage(i,j)∨IP_N,SImage(i,j)          (11)式中，D(x,y,t)为当前输入全景图像帧中坐标为(i,j)点的检测结果，IP_N,HImage(i,j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i,j)点的检测结果，IP_N,SImage(i,j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i,j)点的检测结果，IP_M,HImage(i,j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i,j)点的检测结果，IP_M,SImage(i,j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i,j)点的检测结果，IP_L,HImage(i,j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i,j)点的检测结果，IP_L,SImage(i,j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i,j)点的检测结果。