数据处理方法及系统

摘要

本发明涉及一种数据处理方法及系统。数据处理方法包括：步骤一，按照预设的散列规则，将接收的待处理数据保存到磁盘目录下，所述散列规则中包含用于确定所述磁盘目录的各级子目录的散列因子；步骤二，分布式部署数据处理系统，所述数据处理系统能够根据自身的配置数据，按照所述散列规则计算获得其待处理数据所在的磁盘目录，所述配置数据中包含用于确定所述磁盘目录的前几级子目录的散列因子；步骤三，所述数据处理系统从其待处理数据所在的磁盘目录中读取待处理数据进行处理。本发明的数据处理方法及系统，通过采用磁盘来保存待处理数据，提高了数据处理的可靠性，降低了丢包率。

主权项

一种数据处理方法，其特征在于，包括：步骤一，按照预设的散列规则，将接收的待处理数据保存到磁盘目录下，所述散列规则中包含用于确定所述磁盘目录的各级子目录的散列因子；步骤二，分布式部署数据处理系统，所述数据处理系统能够根据自身的配置数据，按照所述散列规则计算获得其待处理数据所在的磁盘目录，所述配置数据中包含用于确定所述磁盘目录的前几级子目录的散列因子；步骤三，所述数据处理系统从其待处理数据所在的磁盘目录中读取待处理数据进行处理。