基于关联规则提取的海量数据处理系统、设备及方法

摘要

本发明提出了基于关联规则提取的海量数据处理系统、设备和方法。其中，所述系统包括关联规则信息提取装置、关联参数信息记录表存储装置、数据处理服务器、第一数据库、第二数据库和参数表存储装置，所述关联规则信息提取装置周期性地从所述第一数据库读取当前周期的数据记录，并基于所读取出的当前周期的数据记录和所述多个参数表及其之间的关联规则执行统计分析操作以获得关联参数信息记录表。本发明所公开的基于关联规则提取的海量数据处理系统、设备和方法既能够使参数表的记录数较少又能够使系统具有高的参数解析性能。

主权项

一种基于关联规则提取的海量数据处理系统，所述基于关联规则提取的海量数据处理系统包括：第一数据库，所述第一数据库用于存储已处理的数据记录；参数表存储装置，所述参数表存储装置用于存储多个参数表以及所述多个参数表之间的关联规则；关联规则信息提取装置，所述关联规则信息提取装置用于周期性地从所述第一数据库读取当前周期的数据记录，并基于所读取出的当前周期的数据记录和所述多个参数表及其之间的关联规则执行统计分析操作以获得关联参数信息记录表，并将所述关联参数信息记录表传送到关联参数信息记录表存储装置，其中，每个发生概率较高的数据所对应的至少一个参数表的所有决定要素和决定结果构成所述关联参数信息记录表中的对应的一个记录；关联参数信息记录表存储装置，所述关联参数信息记录表存储装置用于存储接收到的关联参数信息记录表；数据处理服务器，所述数据处理服务器用于执行内存装载预处理操作，并随后周期性地从第二数据库读取出当前周期的未处理的数据，以及基于所述关联参数信息记录表和/或所述多个参数表及其之间的关联规则处理所读取出的未处理的数据记录，并将已处理的数据记录存储在所述第一数据库中；第二数据库，所述第二数据库用于存储所述未处理的数据记录。