一种海量数据的文件指纹分析方法

摘要

本发明公开了一种海量数据的文件指纹分析方法，具体包括：构建并行计算模型，生成文件指纹，传输文件指纹，存储文件指纹，比对文件指纹，分析比对结果。本发明的文件指纹分析方法借助并行计算模型，利用文件系统属性和数据内容生成的文件指纹，充分利用网了络节点计算机的并行计算能力，提高了整体的计算性能，简化了异构系统下的大规模海量数据的分析处理过程，提高了海量数据处理的效率，降低了错误率。本发明的方法适用于分布式系统、数据中心、云存储等领域。

主权项

一种海量数据的文件指纹分析方法，包括如下步骤：S1.构建并行计算模型，所述并行计算模型的网络节点即是参数的输入点，中心节点即是数据的运算点；S2.生成文件指纹，具体过程为：网络节点获取需要分析的文件，即获取目标文件，将目标文件的系统属性、文件生成日期、文件名、数据内容字符串获取后，向中心节点发出编码请求，中心节点在获取请求后，返回给网络节点加密算法的编号，网络节点在获得加密算法的编号后，选定编号对应的编码因子作为文件指纹的加密方式，然后读取目标文件数据内容字符串，将内容字符串转化为数组，最后将数组的内容进行加密，加密完后，将数组中指定的连续数组元素作为文件指纹；S3.传输文件指纹，网络节点将步骤S2获得的文件指纹传输至中心节点，网络节点在传输前，发出请求，并将文件指纹传输到中心节点，中心节点在捕获到请求后，立即响应请求，并获取传输过来的文件指纹，同时中心节点给每个请求编号；S4.存储文件指纹，中心节点将需要管理的文件指纹存储在中心节点中，存储成功后，将编号返回给网络节点，网络节点存储这个编号；S5.比对文件指纹，当存储在网络节点中的文件或者文件夹改动时，对改动的文件或文件夹进行比对，以发现改动的部分；S6.分析比对结果，利用并行计算模型同时分析网络节点中的文件指纹和中心节点存储的文件指纹，把两个节点中所有标记过的文件指纹和文件目录结构读出，并生成结果文件。