发明名称 |
数据同步方法和装置 |
摘要 |
本发明提供一种数据同步方法和装置,能够实现hadoop集群内部或hadoop集群间的数据统一,具有简便易行等等优点。其中数据同步方法包括:判断hadoop集群的数据同步类型,数据同步类型包括集群内部数据拷贝、集群内部地址共享、和集群间数据拷贝;根据判断结果执行预先选择的对应于该判断结果的数据质量核对任务;在执行数据质量核对任务时检查到存在数据不一致的情况下,执行最近一次数据同步任务。 |
申请公布号 |
CN105069128A |
申请公布日期 |
2015.11.18 |
申请号 |
CN201510500106.2 |
申请日期 |
2015.08.14 |
申请人 |
北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
发明人 |
杨泽森 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
中原信达知识产权代理有限责任公司 11219 |
代理人 |
张一军;姜劲 |
主权项 |
一种数据同步方法,其特征在于,包括:判断hadoop集群的数据同步类型,所述数据同步类型包括集群内部数据拷贝、集群内部地址共享、和集群间数据拷贝;根据判断结果执行预先选择的对应于该判断结果的数据质量核对任务;在执行所述数据质量核对任务时检查到存在数据不一致的情况下,再次执行最近一次数据同步任务。 |
地址 |
100080 北京市海淀区杏石口路65号西杉创意园四区11C楼东段1-4层西段1-4层 |