一种用于处理多阶段分布式任务调度的系统及方法

摘要

本发明涉及数据处理领域,具体是一种用于处理多阶段分布式任务调度的系统及方法，所述的系统由若干台负责具体业务处理的主机组成，每台主机负责一个或者多个产品集合处理，所有的主机之间通过存储区域网络共享访问磁盘，并通过共享磁盘来进行主机间数据同步，所有交易主机之间通过分布式锁进行消息同步，功能模块负责归属本机产品集合的请求处理，分布式子事务处理主要在每台主机的功能模块完成。本发明同现有技术相比，其优点在于：通过分布式提高多阶段分布式复杂事务的处理效率，降低此类事务处理失败时回滚的成本，特别适用于证券数据处理行业里具有多阶段性、无后效性、子阶段分布性的复杂事务高效可靠处理。

主权项

一种用于处理多阶段分布式任务调度的系统，其特征在于所述的系统由若干台负责具体业务处理的主机组成，每台主机负责一个或者多个产品集合处理，所有的主机之间通过存储区域网络共享访问磁盘，并通过共享磁盘来进行主机间数据同步，所有交易主机之间通过分布式锁进行消息同步，每台主机均部署功能模块和架构模块，功能模块负责归属本机产品集合的请求处理，分布式子事务处理主要在每台主机的功能模块完成，架构模块负责各主机在主机集群中的通讯和协调，多阶段任务调度则主要通过架构模块实施，在主机集群工作时，主机内部会推举一台主机兼做集群主节点，其他节点则自然成为集群从节点，主节点除了要负责归属本机产品集合的处理任务以外，还需承担整个集群上异步作业的管理，包括创建集群上的异步作业、触发从节点的数据同步、汇总从节点的处理结果，所述的系统将需要处理的事务全集划分为多个独立性、完备性的事务处理空间，所述的独立性指不同事务的处理空间无交集，所述的完备性指其中一个产品的事务处理只需在该产品对应的事务处理空间中即可完成，将各个独立完备的事务处理空间划分到多个产品集合，并将不同产品集合分布到不同的业务主机上进行处理，整个多机集群系统为多个独立处理的节点构成，所有独立处理节点的交集为空，并集为全体事务。