基于轨迹约束的航拍视频目标自动检测跟踪方法

摘要

本发明涉及一种基于轨迹约束的航拍视频目标自动检测跟踪方法，首先，利用前向图像及前向图像的运动信息自动完成航拍图像上的运动目标检测；其次，利用轨迹约束的方式去除检测结果上包含的因视差造成的静止目标误检测；最后，通过运动轨迹信息的统计，分析出真实运动目标的跟踪结果并去除噪声目标的影响，从而完成航拍视频目标自动检测跟踪，检测跟踪结果准确率达到80％以上。

主权项

一种基于轨迹约束的航拍视频目标自动检测跟踪方法，其特征在于步骤如下：步骤1：首先通过角点检测和非极大值抑制的方法对前向图像I^F中的第t帧图像和第t‑Δ帧图像进行特征点提取，Δ≥1，并利用RANSAC方法去除两帧图像上的外点；然后利用光流特征计算方法获取第t帧前向图像I^F的运动仿射矩阵最后由构造图像和之间的仿射变化关系：$I_t^F=P_{(t,t-\Delta )}^F\times I_{t-\Delta }^F---\left(1\right)$采用增量计算的方式替代直接计算和的运动仿射矩阵$P_{(t,t-\Delta )}^F=P_{(t,t-1)}^F\times P_{(t-1,t-2)}^F\times ···\times P_{(t-\Delta +1,t-\Delta )}^F---\left(2\right)$其中，是和的运动仿射矩阵，是和的运动仿射矩阵，是和的运动仿射矩阵；步骤2：通过两帧图像和获取前向图像I^F在t帧的帧差运动图像：$D{(x,y,t)}^F=|I_t^F-I_{t-\Delta }^F|---\left(3\right)$步骤3：根据和D(x,y,t)^F构造出前向图像H(x,y,t)^F并利用高斯滤波函数进行平滑处理消除噪点；采用同样的方法计算后向图像I^B第t帧的运动仿射矩阵和帧差运动图像D(x,y,t)^B构造出后向图像H(x,y,t)^B：$H{(x,y,t)}^F=\left\{\begin{array}{cc}\max {(0,P_{(t,t-\Delta )}^{F}H(x,y,t-1)-d)}^F& \mathrm{if\; D}{(x,y,t)}^F<T_F\\ 255& \mathrm{if\; D}{(x,y,t)}^F\ge T_F\end{array}\right.---\left(4\right)$$H{(x,y,t)}^B=\left\{\begin{array}{cc}\max {(0,P_{(t,t-\Delta )}^{B}H(x,y,t-1)-d)}^B& \mathrm{if\; D}{(x,y,t)}^B<T_B\\ 255& \mathrm{if\; D}{(x,y,t)}^B\ge T_B\end{array}\right.---\left(5\right)$其中，x，y分别代表图像的像素坐标，d为衰减值参数，T_F、T_B为阈值；步骤4：将前向图像H(x,y,t)^F和后向图像H(x,y,t)^B进行二值融合关联：H(x,y)_t＝max(H(x,y,t)^F,H(x,y,t)^B)  (6)并记H(x,y)_t图像上的所有像素值为255的待检测像素点为步骤5：利用前向图像的运动仿射矩阵反向计算第t帧每一个待检测点p_t＝(x_t,y_t)∈Θ_t在第t‑1帧图像中对应的像素点位置p_t‑1：$p_{t-1}={\left(P_{(t,t-1)}^F\right)}^T{p}_t---\left(7\right)$步骤6：在以p_t‑1为中心、β为半径的图像范围点集Q内，利用区域范围搜索函数F(p_t‑1,β)寻找与p_t具有最大相似度的像素坐标点p'_t‑1，作为p_t在第t‑1帧的实际对应像素点，并设定向量参数ε(p'_t‑1,p_t)作为p_t在第t‑1帧与第t帧的运动轨迹；F(p_t‑1,β)＝maxf(p_t‑1,q)  (8)$f(p_{t-1},q)=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}(1-\frac{|{\rho }_p\left(i\right)-{\rho }_q\left(i\right)|}{\mathrm{Max}({\rho }_p\left(i\right),{\rho }_q\left(i\right))})---\left(9\right)$其中，q∈Q＝{q|||l(p_t‑1)‑l(q)||＜β}，l(p_t‑1)表示以p_t‑1为中心点的3×3像素大小的块图像，l(q)表示以q为中心点的3×3像素大小的块图像，ρ_p(i)和ρ_q(i)分别表示l(p_t‑1)和l(q)的直方图统计，N固定取值255；步骤7：利用轨迹相似函数κ(ε(p'_t‑1,p_t))计算第t帧每一个待检测点p_t的轨迹ε(p'_t‑1,p_t)与所有待检测点的轨迹的关联相似性，根据相似值为1或0判断运动目标像素点集和静止场景点集$\kappa \left({ϵ}_p\right)=\left\{\begin{array}{cc}1,& \underset{i=1}{\overset{L}{\Sigma }}\left|\right|{ϵ}_p-{ϵ}_i\left|\right|>\frac{1}{L}\underset{i=1}{\overset{L}{\Sigma }}\underset{j=1}{\overset{L}{\Sigma }}\left|\right|{ϵ}_i-{ϵ}_j\left|\right|\\ 0,& \underset{i=1}{\overset{L}{\Sigma }}\left|\right|{ϵ}_p-{ϵ}_i\left|\right|\le \frac{1}{L}\underset{i=1}{\overset{L}{\Sigma }}\underset{j=1}{\overset{L}{\Sigma }}\left|\right|{ϵ}_i-{ϵ}_j\left|\right|\end{array}\right.---\left(10\right)$其中，ε_p表示待检测点p_t的轨迹ε(p'_t‑1,p_t)，ε_i、ε_j分别表示第t帧所有待检测点中每一个待检测点的轨迹，当κ(ε_p)＝1时，当κ(ε_p)＝0时，步骤8：采用最近临聚类的方式，将运动目标像素点集中每一个像素点的运动轨迹ε(p'_t‑1,p_t)进行聚类合并生成图像运动目标轨迹ε(o_t‑1,o_t)；步骤9：对运动目标的运动轨迹ε(o_t‑1,o_t)进行判断；如果运动目标的运动轨迹是非线性的，则该运动目标为虚假运动目标；如果运动目标的运动轨迹ε(o_t‑1,o_t)是线性的，则该运动目标为真实运动目标；根据真实运动目标的连续轨迹，完成航拍视频目标自动检测跟踪。