一种基于小波时序树状概要的城市公共数据流融合方法

摘要

一种基于小波时序树状概要的城市公共数据流融合方法，包括以下步骤：1)数据预处理；2）压缩处理；3）小波系数的筛选；4）基于小波变换的树状概要结构的动态维护：动态更新概要树的节点，根据数据节点可加性原则，将l_i层上最老的m个节点合并到l_i+1层，并将l_i层余下的节点重新计数，同时将这m个老的数据移出内存，完成数据融合。本发明引入中位数绝对值偏差方法，结合离散小波变换方法，提出一种基于小波时序树状概要的城市公共数据流融合方法，能够高效、高质量得对城市公共数据流进行融合。

主权项

一种基于小波时序树状概要的城市公共数据流融合方法，其特征在于：所述融合方法包括以下步骤：1)数据预处理：开始到达的数据作为第0层，每一时间段到达的数据流片段平均包含m个数据，假设每m个数据组成一个子序列，记为d_i，对d_i进行预处理，包括对数据进行空缺值处理，去离群点；2)压缩处理：对每m个数据d_i进行压缩操作，生成第1层的压缩数据节点P_i，i＝(1,2,3…)，构造一个非线性衰减函数：$f_i=-\alpha e^{-(t_i-t_0)}+\beta ---\left(1\right)$其中：α,β为衰减速度因子，α+β＝1,α>β,α,β∈[0,1]，用于对衰减函数进行调整以提高精确度，t₀表示初始时刻，则在时刻t_i，数据节点P_i的加权值为P_if_i，数据节点的压缩采用离散小波变换，分量Φ中保存变换得到的r个最重要的小波系数；随着新数据的不断到来，第1层上的压缩数据节点不断增加，达到设定数量时，将最老的m个数据节点{P₁’,P₂’,…,P_m’}进行归并，合并成第2层上的一个数据节点，并计算数据节点的概要信息，以此逐层向上，从而使得该数据流总是被压缩成一组分层次的数据节点；在整个计算过程中，内存中始终只存储n个数据节点，不断淘汰旧的数据；3)小波系数的筛选：规范化小波系数，将每个系数除以即变化为其中l是层数，重构误差的度量标准决定了最重要小波系数的选择，小波系数的筛选过程遵循以下原则：a、绝对值大的系数的缺失会对相关数据值的重构有更大的影响；b、从结构树上易知，越接近根节点的系数用于重构时影响的数据越多，具有更大的重要性，运用误差平方和sse：$\mathrm{sse}(D,D^{\prime })=\underset{i=1}{\overset{n}{\Sigma }}{(x_i-{x_i}^{\prime })}^2---\left(2\right)$来进行小波系数的筛选，系数重要性的衡量基于sse最小化，使得Φ中保留了r个绝对值最大的系数；4)基于小波变换的树状概要结构的动态维护：动态更新概要树的节点，根据数据节点可加性原则，将l_i层上最老的m个节点合并到l_i+1层，并将l_i层余下的节点重新计数，同时将这m个老的数据移出内存，完成数据融合。