数据集成系统和数据集成方法

摘要

本发明提供了一种数据集成系统和数据集成方法，其中，该数据集成系统包括：日志挖掘单元，用于通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把对象存储至缓存；处理单元，用于通过第二线程轮询缓存，以从缓存中获取符合第二预设条件的对象进行处理得到处理数据，将处理数据发送至消息队列；写入单元，用于通过第三线程轮询消息队列，并在消息队列中存在消息时获取消息，对消息进行处理得到目标语句，将语句写入目标数据库。通过本申请的技术方案，可以有效地提高数据集成的稳定性和数据集成的效率。

主权项

一种数据集成系统，其特征在于，包括：日志挖掘单元，用于通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把所述对象存储至缓存；处理单元，用于通过第二线程轮询所述缓存，以从所述缓存中获取符合第二预设条件的对象进行处理得到处理数据，将所述处理数据发送至消息队列；写入单元，用于通过第三线程轮询所述消息队列，并在所述消息队列中存在消息时获取所述消息，对所述消息进行处理得到目标语句，将所述语句写入目标数据库。