| 主权项 |
一种动态数据环境下的数据流概念漂移可视化方法，具体包括以下步骤：步骤1：动态数据流收集模块(102)从海量实时数据流(101)中按照时间顺序收集数据；步骤2：数据流划分模块(103)读取步骤1中的数据流数据，并根据数据流中数据到达的先后顺序对数据流进行划分；所述数据流划分模块(103)划分得到的数据块中，包含N条记录；N是固定变量，由使用者提前设定；步骤3：将使用数据流划分模块(103)划分后得到静态数据块，输入到kdq树模块(104)中构建kdq树；其中，所述kdq树对应的阈值使用基于KL散度的自助法计算给出或由使用者直接给定；步骤4：将kdq树模块(104)所建立的kdq树、kdq树对应的阈值放入概念池(106)中保存；步骤5：概念检测模块(105)在数据流划分模块(103)得到一个新的数据块，并检测新数据块是否是新的概念，概念检测模块(105)的检测结果根据由原始数据块、新数据块的KL散度值与概念池(106)中保存的kdq树对应阈值的比较结果给出；在计算KL散度时需要对原始数据块进行离散化，离散化的结果由数据块通过kdq树的结果给出；步骤6：当数据流划分模块(103)获取新的数据块时，将此数据块与概念池(106)中所保存的概念进行比较，如果找到相似的概念，则对概念统计模块(107)进行更新；否则将此数据块作为新的概念加入概念池(106)中；步骤7：重复步骤1‑6直至数据流结束；此时将概念统计模块(107)中的统计信息进行汇总，计算出概念池(106)中每个概念的统计信息；步骤8：将上述统计信息输入到概念转移图模块(108)，利用贝叶斯公式构建概念转移图，完成概念漂移可视化过程。 |
