| 主权项 |
一种基于数据库的海量数据处理系统，所述基于数据库的海量数据处理系统包括：数据库，所述数据库用于存储原始数据；数据采集装置，所述数据采集装置用于从所述数据库中根据设定条件抽取数据，并将所述抽取出的数据传送给数据处理装置；数据处理装置，所述数据处理装置用于根据设定的维度以奇偶轮换方式处理接收到的所述数据，并将处理后的数据传送到数据存储装置；数据存储装置，所述数据存储装置用于将接收到的所述处理后的数据分类存储；其中，所述数据采集装置使用多并发方式从所述数据库抽取数据；所述数据处理装置进一步包括：短周期数据处理模块，所述短周期数据处理模块用于将每个短周期时间段内的数据存储于所述数据存储装置中以构成短周期时间段数据集合，并在下一短周期开始前将本次短周期时间段内的数据从所述数据存储装置中清除；第一中周期数据处理模块，所述第一中周期数据处理模块用于在每个奇数中周期时间段期间的每个所述短周期时间段的末端将所述短周期时间段数据集合与奇数中周期时间段累积数据集合合并，并将合并后的数据集合作为新的奇数中周期时间段累积数据集合，以及将所述新的奇数中周期时间段累积数据集合存储于所述数据存储装置中；其中，所述合并后的数据集合是所述短周期时间段数据集合与奇数中周期时间段累积数据集合的交集；所述数据处理装置进一步包括：第二中周期数据处理模块，所述第二中周期数据处理模块用于在每个偶数中周期时间段期间的每个所述短周期时间段的末端将所述短周期时间段数据集合与偶数中周期时间段累积数据集合合并，并将合并后的数据集合作为新的偶数中周期时间段累积数据集合，以及将所述新的偶数中周期时间段累积数据集合存储于所述数据存储装置中；其中，所述合并后的数据集合是所述短周期时间段数据集合与偶数中周期时间段累积数据集合的交集。 |
