一种动态交通异常数据检测与修复方法

摘要

本发明公开了一种动态交通异常数据检测与修复方法，包括异常数据检测和修复两部分，异常数据检测采用一种基于密度的局部异常孤立点发现的方法，异常数据修复采用一种基于灰色系统理论的修复方法。本发明实时有效地对动态交通中车辆运行数据中的异常数据进行了检测和修复，提高了数据质量，从而最终保障交通安全。

主权项

一种动态交通异常数据检测与修复方法，其特征在于，包括以下步骤：(S1)将动态交通中实时采集的数据按照时间顺序通过长度为N的滑动窗(Sliding Window)模型；(S2)滑动窗中接收到新采集的交通数据后，立即开始计算滑动窗中所有数据对象的MinPts‑距离邻域NminPts，并计算其到领域中每个对象的距离，其中，MinPts‑距离邻域的计算式为：N_MinPts(p)＝{q∈D/p|d(p,q)≤k‑distance(p)}   (1)(S3)计算滑动窗中所有数据点的可达密度lrd_MinPts，其计算式为：${\mathrm{lrd}}_{\mathrm{MinPts}}\left(p\right)=1/\left(\frac{{\Sigma }_{o\in N_{\mathrm{MinPts}}\left(p\right)}\mathrm{reach}-{\mathrm{dist}}_{\mathrm{MinPts}}(p,o)}{\left|N_{\mathrm{MinPts}}\left(p\right)\right|}\right)---\left(2\right)$(S4)计算滑动窗中所有数据点的局部异常因子LOF_MinPts，其计算式为：${\mathrm{LOF}}_{\mathrm{MinPts}}\left(p\right)=\frac{{\Sigma }_{o\in N_{\mathrm{MinPts}}\left(p\right)}\frac{{\mathrm{lrd}}_{\mathrm{MinPts}}\left(o\right)}{{\mathrm{lrd}}_{\mathrm{MinPts}}\left(p\right)}}{\left|N_{\mathrm{MinPts}}\left(p\right)\right|}---\left(3\right)$(S5)计算局部异常因子的标准差σ_LOF其计算式为：${\sigma }_{\mathrm{LOF}}\left(T\right)=\sqrt{\frac{{\Sigma }_{o\stackrel{`}{o}Y}{(\mathrm{LOF}\left(o\right)-\frac{{\Sigma }_{i=1}^N\mathrm{LOF}\left(i\right)}{N})}^2}{N}}---\left(4\right)$(S6)计算数据更新前后局部异常因子标准差的比值R，其计算式为：$R=\frac{{\sigma }_{\mathrm{LOF}}(T+1)}{{\sigma }_{\mathrm{LOF}}\left(T\right)}---\left(5\right)$(S7)当R的值小于阈值时，新更新的交通数据不是异常数据，不需要对数据进行修复，返回步骤(S1)，直接等待新的交通数据的到来；当R的值等于或大于阈值时，新更新的交通数据是异常数据，需要对其进行修复，进入异常数据修复。(S8)提取滑动窗中除去新更新的数据，构成一个原始数据序列X⁽⁰⁾，数据序列形式为：X⁽⁰⁾＝(X⁽⁰⁾(1),X⁽⁰⁾(2),...,X⁽⁰⁾(n))   (6)(S9)计算原始序列的邻均值等权生成序列Z⁽¹⁾，其计算式为：$Z^{\left(1\right)}\left(k\right)=\frac{1}{2}(X^{\left(1\right)}\left(k\right)+X^{\left(1\right)}(k-1)),k=\mathrm{2,3},...,n---\left(7\right)$(S10)计算原始序列的一次累加X⁽¹⁾，其计算式为：X⁽¹⁾＝(X⁽¹⁾(1),X⁽¹⁾(2),...,X⁽¹⁾(n))   (8)(S11)建立灰色模型GM(1,1)的矩阵形式Y：$Y=B\hat{\alpha }---\left(9\right)$(S12)求解在式(9)中的最小化问题，灰色模型GM(1,1)参数的估计值为：$\hat{\alpha }={[a,u]}^T={\left(B^{T}B\right)}^{-1}{B}^{T}Y---\left(10\right)$(S13)计算出异常数据的修复值X⁽⁰⁾，异常数据得到修复：$\begin{array}{c}{X}^{\left(0\right)}(k+1)={\hat{X}}^{\left(1\right)}(k+1)-{\hat{X}}^{\left(1\right)}\left(k\right)\\ =(1-e^a)[X^{\left(0\right)}\left(1\right)-\frac{u}{a}]e^{-\mathrm{ak}},k=\mathrm{1,2},...,n\end{array}---\left(11\right)$(S14)若车辆继续行驶，则返回步骤(S1)，若车辆停止，则结束；所述步骤(S1)中的滑动窗模型中的数据包括已处理的数据和待辨识的数据；所述步骤(S2)中的MinPts‑距离定义为：任意的自然数k，定义对象p的k‑距离(k‑distance(p))为p和集合中D中某个对象o之间的距离；所述对象o至少存在k个对象使得并且至多存在k‑1个对象使得步骤(S5)中局部异常因子的标准差σ_LOF的初始值取0。