一种分布式组态化海量数据归档系统及实现方法

摘要

一种分布式组态化海量数据归档系统及实现方法，包括多归档实例管理模块、归档请求接收模块、归档请求分发模块、归档流程信息持久化模块、配置文件解析模块、归档请求处理模块、描模块、元数据解析模块、目录解析模块、归档模块、归档数据提取模块、事务处理模块等。本发明根据需求通过配置文件实现热插拔，这有利于定制个性化的归档服务，从而达到软件高可复用的目的。

主权项

一种分布式组态化的海量数据归档系统，其特征在于包括：多归档实例管理模块：创建数据归档服务实例与服务状态，数据归档服务实例与归档流程之间的映射关系数据结构，定期接收归档请求分发模块中的各数据归档服务实例上报的心跳信息及各数据归档服务实例正在处理的归档流程信息，并根据接收到的信息更新映射关系表；创建并更新数据归档服务实例状态信息，提供接口供归档请求分发模块查询；归档请求接收模块：用户归档请求传入参数进行解析，封装成归档系统内部模块交互所使用的归档请求数据结构，并将归档请求插入请求缓冲队列中，依靠缓冲队列机制，可同时接收处理大量并发归档请求，对队列中的归档请求进行优化维护，并提供获取队列中归档请求及队列状态信息的队列管理器，待归档请求分发模块使用；归档请求分发模块：初始化阶段，加载归档请求静态下发映射表，并加载归档请求过滤策略；用户可在映射表中配置归档请求类型与数据归档服务实例的对应关系，这种对应关系是多对多的，因此可能出现某种归档请求类型对应多个数据归档服务实例的情况；调用归档请求接收模块的队列管理器，获取优先级最高的归档请求，将调用多归档实例管理模块中的数据归档服务实例状态信息查询接口，获取数据归档服务实例物理状态，根据数据归档服务实例物理状态进行负载均衡，分发归档请求到负载相对较轻数据归档服务实例的归档请求处理模块；归档流程信息持久化模块：对归档请求接收模块中维护的请求队列进行定期持久化操作，并对各模块之间的交互活动及产生的关键数据进行持久化，一旦出现归档系统运行环境异常导致系统崩溃，通过持久化的数据恢复到最近一次备份点，形成归档数据灾难备份恢复机制；配置文件解析模块：数据归档服务实例按需定制、修订从归档模型配置 文件中接收到的数据归档流程和数据存储载体及系统类型，并将归档系统中各模块采用组态化插件形式构建，提供模块的按需定制能力，将定制的流程及模块所需参数信息进行解析，并封装成各模块能够调用的对象结构；归档请求处理模块：数据归档服务实例接收到请求分发模块下发的归档请求后，将归档请求解析获取扫描子目录信息，发送给扫描模块；扫描模块：获取配置文件解析模块生成的扫描模块配置信息对象，根据配置信息指定的根目录，和归档请求处理模块解析的子目录构成最终的扫描目录，并依照配置信息指定的扫描文件类型和个数，从此目录下扫描获取待归档文件和元数据信息文件，待元数据解析模块和归档模块使用；元数据解析模块：获取配置文件解析模块生成的元数据解析配置信息对象，根据配置信息指定的元数据名和所在元数据信息文件中的解析参数，解析出对应的元数据值，生成元数据信息集合，发送给目录解析模块；目录解析模块：获取配置文件解析模块生成的目录解析配置信息对象，根据配置信息指定的各级归档目录组成所需元数据信息及连接符，生成归档目录，发送给归档模块；归档模块：获取配置文件解析模块生成的归档模块配置信息对象，根据配置信息指定的归档文件系统，将扫描模块提供的归档文件上传到目录解析模块生成的归档目录中；并将归档信息发送给元数据持久化模块；元数据持久化模块：获取配置文件解析模块生成的元数据持久化配置信息对象，根据配置信息指定的所需持久化信息，将元数据信息、归档目录、归档文件等元数据信息存入归档元数据库中；归档数据提取模块：外部系统输入归档数据查询条件，提交查询请求给归档数据提取模块，归档数据提取模块通过检索元数据信息数据库，获取归档文件元数据信息，如果外部系统需要获取归档数据，通过调用归档数据提取模块的提取方法指定获取目录，可以是远程或本地应用系统，外部系统通过归档数据提取模块提供的服务，获取归档数据到指定目录；事务处理模块：为保证数据归档步骤中归档模块与元数据持久化模块执行步骤的原子性，既有且只有这两个模块执行步骤同时成功才表示这两步骤都成功，其中有一个模块执行步骤失败，这两模块执行都失，当这两个模块执行失败时，将对这两模块执行的步骤做回滚操作，以消除这两模块对外部系统的影响；以上提到的模块采用组态化插件形式构建，并提供模块的按需定制能力：整个归档系统可部署在主从模式的分布式集群中，运行在主节点，从属主节点和从节点上的各模块是基于组态化插件容器的，每个模块都可以单独开启和关闭，用户可以根据需求启动相应的模块，用户可根据发布的接口，扩展各模块的实现方式，并且，根据用户需求可添加新的自定义的处理模块，配置符合自身要求的归档服务系统。