一种大数据环境下的数据处理方法

摘要

本发明提供了一种大数据环境下的数据处理方法，该方法包括：根据文件的操作粒度，将文件分为文件块、物理文件和逻辑文件，并分别定义文件块元数据、物理文件元数据和逻辑文件元数据；将新旧两个版本的文件元数据在服务器端进行比较，通过存储层中文件块对相同数据进行冗余去重，从而在客户端与服务器端执行新旧版本数据的差异化传输。本发明实现了大数据环境下的数据同步，减轻了服务器端计算压力，提高了传输效率和资源利用率。

主权项

一种大数据环境下的数据处理方法，用于在客户端与集群服务器之间同步数据，其特征在于，包括：根据文件的操作粒度，将文件分为文件块、物理文件和逻辑文件，并分别定义文件块元数据、物理文件元数据和逻辑文件元数据；将新旧两个版本的文件元数据在服务器端进行比较，通过存储层中文件块对相同数据进行冗余去重，从而在客户端与服务器端执行新旧版本数据的差异化传输。