一种对数据进行容错处理的方法及数据处理系统

摘要

本发明公开了一种对数据进行容错处理的方法及数据处理系统，方法包括获取数据；获取数据处理系统的处理资源，其中，所述处理资源为数据处理系统对数据进行处理时可用的资源；根据所述处理资源选择对所述数据进行容错处理的容错处理算法，并根据所述所选择的容错处理算法对所述数据进行容错处理。通过上述方式，本发明不仅能够提高对数据的容错处理速度，又能够平衡数据处理系统中的处理资源的使用率。

主权项

一种对数据进行容错处理的方法，其特征在于，方法包括：获取数据；获取对所述数据进行容错处理所需要的处理资源；根据所述处理资源选择对所述数据进行容错处理的容错处理算法，并根据所述所选择的容错处理算法对所述数据进行容错处理；所述处理资源包括：空闲存储空间比临界值、当前空闲存储空间比、可用网络带宽比临界值和当前可用网络带宽比，其中，所述空闲存储空间比为数据处理系统中空闲的存储空间占总存储空间中的比例，所述当前可用网络带宽比为当前未占用的网络带宽占总网络带宽的比例；所述容错处理算法包括纠删码算法；所述根据所述处理资源选择对所述数据进行容错处理的容错处理算法，并根据所述容错处理算法对所述数据进行容错处理的步骤包括：判断所述当前空闲存储空间比是否小于所述空闲存储空间比临界值，以及，所述当前可用网络带宽比是否大于所述可用网络带宽比临界值；若所述当前空闲存储空间比小于所述空闲存储空间比临界值，以及，所述当前可用网络带宽比大于所述可用网络带宽比临界值，则根据所述纠删码算法对所述数据进行容错处理；所述纠删码算法包括里所码纠删码算法；所述处理资源还包括：节点空闲时间临界值、数据块访问频率临界值和数据切块数量临界值、当前节点空闲时间、当前数据块访问频率和当前数据切块数量，其中，所述节点空闲时间为数据处理系统中的节点处于空闲状态的时间，所述数据块访问频率为数据中的数据块被访问的频率，所述数据切块数量为数据划分数据块的数量；所述根据纠删码算法对所述数据进行容错处理步骤还包括：判断所述当前节点空闲时间是否大于节点空闲时间临界值，以及，所述当前数据块访问频率是否小于数据块访问频率临界值；若所述当前节点空闲时间大于所述节点空闲时间临界值，以及，所述当前数据块访问频率小于数据块访问频率临界值，则判断所述当前数据切块数量是否小于数据切块数量临界值；若所述当前数据切块数量小于数据切块数量临界值，则根据所述里所码纠删码算法对数据进行容错处理。