发明名称 |
一种实现大数据同步的方法和系统 |
摘要 |
本发明涉及一种实现大数据同步的方法和系统。其中方法包括步骤S1,Oracle数据库将需要同步数据的表的表名以及表中的字段名列发送给Hadoop集群;步骤S2,Hadoop集群根据接收到的表名和字段名列生成同步表,并根据同步表加载需要同步的数据至同步表中,生成数据文件,并将所述数据文件导出到与所述Oracle数据库对应的服务器上;步骤S3,Oracle数据库将服务器上数据文件中的数据加载至Oracle数据库。本发明以配置方式实现数据库与Hadoop数据的同步,只要配置表名到数据库中,被配置的表即可实现同步,相比于现有技术,能够降低新增脚本、测试上线等工作量,不需要每次新增同步程序,效率高,成本低,并且能够降低因测试不到位等情况引起的风险。 |
申请公布号 |
CN105847378A |
申请公布日期 |
2016.08.10 |
申请号 |
CN201610228344.7 |
申请日期 |
2016.04.13 |
申请人 |
北京思特奇信息技术股份有限公司 |
发明人 |
闫浩 |
分类号 |
H04L29/08(2006.01)I;G06F17/30(2006.01)I |
主分类号 |
H04L29/08(2006.01)I |
代理机构 |
北京轻创知识产权代理有限公司 11212 |
代理人 |
杨立 |
主权项 |
一种实现大数据同步的方法,其特征在于,包括如下步骤:步骤S1,Oracle数据库将需要同步数据的表的表名以及表中的字段名列发送给Hadoop集群;步骤S2,Hadoop集群根据接收到的表名和字段名列生成同步表,并根据所述同步表加载需要同步的数据至所述同步表中,生成数据文件,并将所述数据文件导出到与所述Oracle数据库对应的服务器上;步骤S3,Oracle数据库将服务器上所述数据文件中的数据加载至Oracle数据库。 |
地址 |
100086 北京市海淀区中关村南大街6号中电信息大厦16层 |