| 主权项 |
一种集群数据处理系统中的在线故障容错方法，其特征在于包括以下步骤：(1)将集群数据处理系统按照数据处理流程划分为多级计算环节，每级计算环节通过其中的计算节点协同完成；(2)将上一级计算环节的结果以文件碎片方式存储，用于实现各级计算节点之间的数据传递工作；(3)下一级计算节点读取步骤(2)中文件碎片存储的结果，进行计算，并存储计算结果为下一级计算节点使用；(4)集群数据处理系统记录每级计算节点的运行状态以及每级计算节点与文件碎片的对应关系；(5)根据步骤(4)中集群数据处理系统记录的运行状态对计算节点进行检测，当检测到计算节点发生故障时，进行任务分配判断，若为故障计算节点正在执行的任务，则进入步骤(6)；若为故障计算节点待执行的任务，则进入步骤(7)；(6)启动备份计算节点代替故障计算节点进行正在执行的任务的处理并进入步骤(8)；(7)将故障计算节点需要承担的待执行的任务，分散到其他的计算节点进行计算，进入步骤(9)；(8)备份计算节点从数据库恢复故障现场，读取正在执行的计算节点对应的文件碎片，用于代替故障节点继续工作，实现整个集群数据系统在运行过程中的在线故障恢复，并进入步骤(9)；(9)结束。 |
