一种提高数据仓库查询性能的方法

摘要

本发明涉及一种提高数据仓库查询性能的方法，首先将数据仓库中的数据按照所存储的逻辑关系分为事实表和维度表，然后根据维度表数据对事实表中的数据进行分组汇总，将每个分组生成为一个视图，将生成的所有视图添加到候选视图集合中；然后使用基于信息素扩散的双种蚁群算法，模拟自然界中不同种群的蚂蚁群觅食的过程，在候选视图集合中根据查询频率来寻找数据之间的内在联系，选择生成物化视图，在有限的存储空间内将需要进行表间连接或聚集的查询操作的结果进行预先计算和保存，从而提高数据仓库的查询性能。

主权项

1.一种提高数据仓库查询性能的方法，首先将数据仓库中的数据按照所存储的逻辑关系分为事实表和维度表，然后根据维度表数据对事实表中的数据进行分组汇总，将每个分组生成为一个视图，将生成的所有视图添加到候选视图集合中；然后使用基于信息素扩散的双种蚁群算法，模拟自然界中不同种群的蚂蚁群觅食的过程，在候选视图集合中根据查询频率来寻找数据之间的内在联系，选择生成物化视图，在有限的存储空间内将需要进行表间连接或聚集的查询操作的结果进行预先计算和保存，从而提高数据仓库的查询性能；其具体步骤为：(A)将候选视图集合中的视图与蚂蚁行进路径上的结点进行对应；(B)在给定存储空间K_max限制下，蚂蚁不断的从候选视图集合中选择一个未被选中的合适的视图放到已选视图集中，直到再放入任何一个未被选中的视图将导致整个已选视图集大小超出存储空间限制；(C)蚂蚁按照状态转移规则进行视图结点选择，同时通过信息素更新策略、信息素扩散规则、信息通信规则对视图结点选择进行更新；(D)迭代计算步骤(C)，对两个种群的蚂蚁找到的最优解进行比较，选出其中较优的解作为迭代最优解，将已选视图集中与该迭代最优解对应的视图组作为物化视图进行存储；步骤(C)中的状态转移规则为：假设蚁群中蚂蚁的数量为n，初始信息素τ_ij＝C(C为常数)；在某一时刻，蚂蚁k从视图i选择下一个视图j的时候，根据下述规则选择。式(1)中，q是[0，1]区间均匀分布的随机数；q₀∈[0，1]是一个参数；τ_ij表示i到j边上的信息素浓度，η_ij表示i到j边的能见度，令η_ij＝f_j/S_j，其中f_j为视图j的查询概率，S_j为视图j所占的存储空间，即启发蚂蚁选择那些单位空间查询频率高的视图来进行物化；α、β分别表示τ与η的相对影响力；通过对双种群进行功能上的划分，即使两个种群的蚂蚁分别具有较快的收敛速度和更好的寻优能力；式(1)中，allowed_K为可选视图的集合，D根据下面式(2)所定义的状态转移概率进行选择；式(2)中，表示蚂蚁k由视图i转移到视图j的状态转移概率，s为除i、j以外的视图变量；步骤(C)中的信息素更新策略为：在蚂蚁选择完一个视图结点后进行信息素局部更新，更新规则如下式(3)所示：${\tau }_{\mathrm{ij}}^{\mathrm{new}}=(1-\rho ){\tau }_{\mathrm{ij}}^{\mathrm{old}}+{\mathrm{\rho \tau }}_0---\left(3\right)$在所有蚂蚁都建立了解决方案后进行信息素全局更新，更新规则如下式(4)所示；${\tau }_{\mathrm{ij}}^{\mathrm{new}}=(1-\rho ){\tau }_{\mathrm{ij}}^{\mathrm{old}}+{\mathrm{\rho \Delta \tau }}_{\mathrm{ij}}---\left(4\right)$式(3)、(4)中，ρ为信息素挥发系数，取值为0＜ρ＜1；τ₀为信息素初值，取为1/N×K_max，N为候选视图个数，K_max为给定的存储空间限制；分别为信息素更新前后从i到j边上的信息素浓度；式(4)中，Δτ_ij取值为：式(5)中，Q_smallest，Q_biggest分别为最优路径对应的总查询代价和最差路径对应的总查询代价；w是常数，可控制信息素浓度的大小，一般取为1；步骤(C)中的信息素扩散规则为：${\tau }^{*}=\left\{\begin{array}{cc}(1-\frac{{\eta }_{\mathrm{iu}}{c}_{\mathrm{uD}}}{{\eta }_{\mathrm{ij}}{c}_{\mathrm{iD}}}){\tau }_0\lambda & {\eta }_{\mathrm{iu}}{c}_{\mathrm{uD}}\le {\eta }_{\mathrm{ij}}{c}_{\mathrm{jD}}\\ 0& {\eta }_{\mathrm{iu}}{c}_{\mathrm{uD}}>{\eta }_{\mathrm{ij}}{c}_{\mathrm{jD}}\end{array}\right.---\left(6\right)$式(6)中，i、j节点为最优路径上的节点，u为与当前节点i直接相连的非最优路径节点；c_iD、c_uD分别为i点、u点到NULL点的查询代价，λ表示信息量的大小；步骤(C)中的信息通信规则为：$\left\{\begin{array}{c}{\tau }_{\mathrm{ij}}^A=({\tau }_{\mathrm{ij}}^A+{\tau }_{\mathrm{ij}}^B)/2\\ {\tau }_{\mathrm{ij}}^B={\tau }_{\mathrm{ij}}^A\end{array}\right.---\left(7\right)$式(7)中分别是(i，j)段A种群和B种群的信息素。