基于时空分析的交通流数据清洗方法

摘要

本发明公开了一种基于时空分析的交通流数据清洗方法，包括脏数据存储模块、干净数据存储模块和运算模块，其中：所述脏数据存储模块，对实时接收到的交通流信息不加改变的按照固定格式进行存储；所述运算模块，按照固定时间间隔从脏数据存储模块中提取最新数据，同时从干净数据库中提取与之在时间和空间存在匹配关系的数据，进行运算；所述干净数据存储模块，对运算模块运算完毕后的数据按照固定格式进行存储。本发明通过简化交通流数据清洗过程，采用用时间与空间并行分析方法，从而方便、快捷、准确的进行交通流数据清洗工作。在简化交通流数据清洗过程，提供交通流数据清洗质量方面，具有实际工程运用价值。

主权项

一种基于时空分析的交通流数据清洗方法，其特征在于：包括脏数据存储模块、干净数据存储模块和运算模块，其中：所述脏数据存储模块，对实时接收到的交通流信息不加改变的按照固定格式进行存储；所述干净数据存储模块，对运算模块运算完毕后的数据按照固定格式进行存储；所述运算模块，按照固定时间间隔从脏数据存储模块中提取最新数据，同时从干净数据库中提取与之在时间和空间存在匹配关系的数据，进行运算，运算方法如下：首先，运算模块每隔T0时间从脏数据存储模块中遍历所有m个检测器序号ID，并分别提取相同ID的数据中时刻最新的数据，分别为{A₁,A₂,A₃,…,A_m}，同时在干净数据存储模块中，遍历所有m个检测器序号ID，并分别提取相同ID的数据中时刻最新的4条数据，分别记为其中任意Ai或者Bij均为13个字段的49位的十进制代码，i和j为自然整数；Ai＝{ID,DATE,TIME,LANE[1],LANE[2],LANE[3],LANE[4],LANE[5],LANE[6],LANE[7],LANE[8],LANE[9],LANE[10]}，其中，各字段名称及其长度位数如下：检测器序号，日期，时间，第一车道流量，第二车道流量，第三车道流量，第四车道流量，第五车道流量，第六车道流量，第七车道流量，第八车道流量，第九车道流量，第十车道流量；前述各字段的长度位数依次分别为：5位、8位、6位、3位、3位、3位、3位、3位、3位、3位、3位、3位和3位；根据空间位置关系，定义检测器周围1km范围内检测器为相关检测器，若第k个检测器的相关检测器分为第k₁,k₂,…,k_n,n为相关检测器的个数，则在进行数据清洗时，对第k个检测器进行如下运算：C_k.ID＝A_k.ID$C_k.DATE=B_k^l.DATE$$C_k.TIME=B_k^l.TIME+T0$$C_k.LANE\left[l\right]=\frac{\underset{i=1}{\overset{4}{\Sigma }}{B}_k^i.LANE\left[l\right]}{8}+\frac{\underset{j=1}{\overset{4}{\Sigma }}\underset{k=1,k\ne *}{\overset{10}{\Sigma }}{B}_k^j.LANE\left[k\right]}{4\underset{j=1}{\overset{4}{\Sigma }}\underset{k=1,k\ne *}{\overset{10}{\Sigma }}(B_k^j.LANE[k]?1;0)}+\frac{\underset{i=1}{\overset{n}{\Sigma }}\underset{j=1}{\overset{4}{\Sigma }}\underset{k=1}{\overset{10}{\Sigma }}{B}_{k_i}^j.LANE\left[k\right]}{4\underset{i=1}{\overset{n}{\Sigma }}\underset{j=1}{\overset{4}{\Sigma }}\underset{k=1}{\overset{10}{\Sigma }}(B_{k_i}^j.LANE[k]?1;0)}$其中，C_k为与A_k，B_k有相同量纲的临时变量，l＝1,2,3,...,10在计算得到Ck.LANE[l],l＝1,2,3,….,10后进一步进行如下运算：如果A_k.TIME<C_k.TIME,则说明发生数据丢失；如果A_k.TIME>＝C_k.TIME，则说明数据未丢失，可能发生数据漂移，进入下一级判断；逐条车道l比较，A_k.LANE[l]是否属于区间(0.5*C_k.LANE[l],1.5*C_k.LANE[l])，如果属于，则C_k.LANE[l]＝A_k.LANE[l]；当所有车道均判断完毕后，继续进行下一个检测器的相应运算，当遍历所有m个检测器，完成如上运算过程后，将Ck所有数据存入干净数据存储模块。