一种数据处理方法及重删引擎

摘要

本发明实施例公开了一种数据处理方法及重删引擎。该数据处理方法应用于数据备份系统，数据备份系统包括重删引擎和存储节点；其中，所述数据备份系统预先在线程池中建立至少两个线程；所述重删引擎将数据查重任务划分为至少一个子任务，所述方法包括：所述重删引擎调取所述线程池中的至少一个线程对第一文件的数据执行所述数据查重任务包含的子任务，以查询所述存储节点是否存在所述第一文件的数据的重复数据；释放调取的所述至少一个线程；并当没有查询到所述第一文件的数据的重复数据时，将所述第一文件的数据发送到所述存储节点进行存储。该方法避免了线程长时间等待IO返回，实现了对CPU充分高效的利用，以及对重复数据删除性能的提升。

主权项

一种数据处理方法，其特征在于，所述方法应用于数据备份系统，所述数据备份系统包括重删引擎和存储节点；其中，所述数据备份系统预先在线程池中建立至少两个线程；所述重删引擎将数据查重任务划分为至少一个子任务，所述方法包括：所述重删引擎调取所述线程池中的至少一个线程对第一文件的数据执行所述数据查重任务包含的子任务，以查询所述存储节点是否存在所述第一文件的数据的重复数据；释放调取的所述至少一个线程；并当没有查询到所述第一文件的数据的重复数据时，将所述第一文件的数据发送到所述存储节点进行存储。