基于文件的海量数据处理方法

摘要

本发明提供一种基于文件海量数据处理模型，所述具体处理过程包括：(1)对多台数据处理服务器间进行互斥控制，保持所述数据处理系统只有一台在处理数据，其他数据处理服务器作为备份；(2)对海量数据文件进行分组，将海量数据文件根据并发线程的总数量进行分组，再将分组后的文件对应到不同的线程进行处理。本发明所提供的海量数据处理过程是为了在计算机系统发生各种意外的情况下，都可以保证数据的正确性和完整性，并且在保证数据正确性和完整性的同时，确保海量数据的处理性能。

主权项

一种基于文件的海量数据的处理方法，将数据处理系统接收到的海量数据进行文件分组，再分配给多线程并发处理，之后存入数据库中，其中，所述数据处理系统包括多台数据处理服务器和一个共享磁盘柜，所述共享磁盘柜用于存放待处理的数据文件，并提供给所述多台数据处理服务器共享，所述具体处理过程包括：(1)对多台数据处理服务器间进行互斥控制，保持所述数据处理系统只有一台在处理数据，其他数据处理服务器作为备份；(2)对海量数据文件进行分组将海量数据文件根据并发线程的总数量进行分组，再将分组后的文件对应到不同的线程进行处理。