一种基于hadoop集群的数据迁移方法和工具

摘要

本发明提供一种基于hadoop集群的数据迁移方法，包括：各集群根据主服务器发送的需要同步的数据目录列表分别计算各自当前的数据目录信息并返回结果给主服务器；主服务器对所述结果进行差异比对得到差异目录列表；主服务器按照执行同步任务的客户端的数量拆分差异目录列表；各执行同步任务的客户端接到主服务器发起的执行同步任务通知后，请求web service，获取拆分后的差异目录列表，执行同步任务。根据本发明的技术方案，基于hadoop自身提供的同步命令，在其基础上进行开发封装，包括数据差异比对，多线程并发同步，同步结果校验，同步进度跟踪，过程监控。

主权项

一种基于hadoop集群的数据迁移方法，其特征在于，包括：各集群根据主服务器发送的需要同步的数据目录列表分别计算各自当前的数据目录信息并返回结果给主服务器；主服务器对所述结果进行差异比对得到差异目录列表；主服务器按照执行同步任务的客户端的数量拆分差异目录列表；各执行同步任务的客户端接到主服务器发起的执行同步任务通知后，请求web service，获取拆分后的差异目录列表，执行同步任务。