一种海量数据处理方法和系统

摘要

本发明公开了一种海量数据处理方法，调度模块根据获取的当前业务信息和预设的调度策略判断是否调用数据仓库操作语句(HQL)，当判断为是时，根据获取的当前业务信息和预设的调度策略获取调用顺序，调度模块根据调用顺序向数据仓库平台调用HQL，数据仓库平台从关系数据库中读取数据仓库对应的配置信息，数据仓库平台根据调用顺序触发HQL对分布式平台存储的数据进行运算，生成结果数据并存储到分布式平台。本发明还公开了一种海量数据处理系统。采用本发明公开的海量数据处理方法和系统，能够增强海量数据处理的灵活性。

主权项

一种海量数据处理方法，其特征在于，在海量数据处理系统中加入调度模块，该方法包括：数据接入平台向分布式平台传输至少一次数据；当每次传输完成时，数据接入平台向消息接口模块发送数据传输完成消息；调度模块从所述消息接口模块获取至少一次所述数据传输完成消息，作为当前业务信息；调度模块根据获取的当前业务信息和预设的调度策略判断是否调用数据仓库操作语句，当判断为是时，根据获取的当前业务信息和预设的调度策略获取调用顺序；调度策略预先设置在调度模块中；所获取的调用顺序是预先设置在调度模块中的，调度模块中预设有多个调用顺序；调度模块根据所述调用顺序向数据仓库平台调用数据仓库操作语句；数据仓库平台从关系数据库中读取所述数据仓库操作语句对应的配置信息；数据仓库平台根据所述调用顺序触发所述数据仓库操作语句对分布式平台存储的数据进行运算，生成结果数据并存储到所述分布式平台。