航拍视频中运动小目标的检测与跟踪方法

摘要

本发明公开一种航拍视频中运动小目标的检测与跟踪方法，包括1.采集图像；2.提取SURF特征点；3.图像分组匹配；4.获得仿射矩阵；5.获得差分图像；6.开运算处理；7.提取目标区域；8.确定目标模板；9.确定目标检测区域；10.特征点提取与匹配；11.确定目标的配准中心位置；12.确定目标中心位置；13.确定目标的长和宽。本发明在目标跟踪过程中具有很好的实时性和鲁棒性，本发明在目标跟踪过程中获得平滑的目标运动轨迹。

主权项

1.一种航拍视频中运动小目标的检测与跟踪方法，包括小目标的检测和利用所获得的小目标对采集的视频进行跟踪两个过程，具体实现步骤如下： 第一个过程，小目标的检测的具体步骤如下： (1)采集图像： 对飞行器拍摄的视频图像序列，每间隔一帧抽取一帧图像，共抽取四帧图像； (2)提取SURF特征点： 2a）对采集的四帧图像分别构建每一帧图像的尺度空间，从每一帧图像的尺度空间中找出多个极值点； 2b）将每帧构建尺度空间的图像划分为M×N个均匀分布的网格点，按行的顺序从左到右依次对网格序列从1开始标号；将每帧构建尺度空间的图像检测到的极值点的序号标记为该极值点位置所属网格点的序号，选择标记序号相同极值点的海瑟矩阵行列式值最大的极值点作为该序号网格的特征点； 2c）将每帧构建尺度空间的图像每个特征点的位置为中心，r=6σ为半径的区域作为特征点的特征区域，其中，σ表示该特征点所处的尺度；按照下式，获得特征点的主方向： 其中，C表示特征点的主方向，M₀₀表示特征点特征区域图像的零阶距，M₁₀表示特征点的特征区域图像在x方向的一阶距，M₀₁表示特征点的特征区域图像在y方向的一阶距； 2d）通过每个特征点领域像素的哈尔小波响应确定该特征点的描述子； (3)图像分组匹配： 3a)将采集的第一帧图像和第三帧图像分为第一组，将采集的第一帧图像和第四帧图像分为第二组，将采集的第二帧图像和第三帧图像分为第三组，将采集的第二帧图像和第四帧图像分为第四组，共获得四组图像对； 3b)对每组图像对中的第一帧图像的特征点和第二帧图像的特征点进行匹 配； (4)获得仿射矩阵： 采用顺序抽样一致性PROSAC算法，获得每组图像对中第一帧图像对第二帧图像的仿射矩阵； (5)获得差分图像： 5a)将每组图像对中的第一帧图像进行仿射变化，获得仿射变换图像； 5b)将每组图像对中的第二帧图像与获得的仿射变换图像相减，获得差分图像； (6)开运算处理： 6a)对四组差分图像进行累加； 6b)对累加差分图像用形态学开运算处理，得到开运算处理后的图像； (7)提取目标区域： 7a）通过边缘检测坎尼算子，对开运算处理后的图像进行边缘检测，得到只含有目标边缘的图像； 7b）用检测边缘坐标极值点方法，提取只含有目标边缘图像的目标区域位置； (8)确定目标模板： 8a）将采集的第四帧图像的目标区域图像作为目标模板的图像，采用传统的快速鲁棒特征方法，对目标模板的图像提取特征点，作为目标模板的特征点； 8b）将目标区域的四个坐标点的横坐标的平均值作为目标模板的目标中心位置的横坐标，将目标区域的四个坐标点的纵坐标的平均值作为目标模板的目标中心位置的纵坐标； 第二个过程，利用所获得的目标模板图像进行小目标跟踪的具体步骤如下： (9)确定目标检测区域： 9a）采集飞行器拍摄的视频图像序列中的一帧待跟踪图像； 9b）采用卡尔曼滤波器通过目标模板图像的目标中心位置，预测出待跟踪图像的目标中心位置，获得待跟踪图像的预测目标中心位置； 9c）以当前帧待跟踪图像预测的目标中心位置为中心，将矩形目标模板图像的长和宽3倍的区域，作为当前帧图像的目标检测区域； (10)特征点提取与匹配： 10a）采用传统的快速鲁棒特征算法，对当前帧待跟踪图像被检测区域提取特征点； 10b）将当前帧待跟踪图像被检测区域提取特征点和目标模板图像的特征点进行匹配，获得多对匹配特征点； (11)确定目标的配准中心位置： 分别累加当前帧待跟踪图像的所有匹配特征点的横坐标值和纵坐标值，将当前帧待跟踪图像所有匹配特征点的横坐标值和纵坐标除以匹配特征点数，获得当前帧待跟踪图像所有匹配特征点的横坐标值和纵坐标的平均值，将横坐标值和纵坐标的平均值作为当前帧待跟踪图像目标的配准中心位置； (12)确定目标中心位置： 采用卡尔曼滤波器通过当前帧待跟踪图像目标的配准中心位置对的目标中心位置进行修正，获得当前帧待跟踪图像的目标中心位置； (13)确定目标的长和宽： 13a）分别累加当前帧和目标模板图像的所有匹配特征点的尺度值，将当前帧待跟踪图像所有匹配特征点的尺度值除以匹配特征点数，获得当前帧待跟踪图像所有匹配特征点尺度的平均值； 13b）用当前帧所有匹配特征点尺度的平均值与目标模板图像所有匹配特征点尺度的平均值作比，获得当前帧图像相对于目标模板图像的尺度变化系数； 13c）将目标模板图像的长和宽，分别乘以当前帧图像相对于目标模板图像的尺度变化系数，将该尺度变化系数作为当前帧待跟踪图像的目标的长和宽。