互联网站数据的单向同步方法

摘要

本发明公开了一种互联网站数据的单向同步方法，针对互联网站数据的数据记录的大小、更新频率、用户访问的实时性要求进行分类，并对分类后的每种数据给出了不同的数据同步策略，包括：短周期缓存策略、实时更新策略、增量更新策略、后台增量更新策略。本发明使用每条数据记录的最后更新时间作为判别是否需要进行同步的依据，从而具有较大的适应性。其中的后台增量更新策略，特别适合大量数据的持续同步，可以较好地兼顾数据流量的极小化和数据同步效率的极大化。

主权项

一种互联网站数据的单向同步方法，其特征是，该方法为：将互联网站数据的每条数据记录根据大小分为大容量数据、中容量数据和小容量数据；还将互联网站数据的每条数据记录根据更新频率分为快速更新数据、中速更新数据和慢速更新数据；还将互联网站数据的每条数据记录根据用户访问的实时性要求，分为高实时性要求数据和低实时性要求数据；当数据记录同时属于高实时性要求数据和快速更新数据，则采用实时更新策略；当数据记录同时属于高实时性要求数据和中速更新数据，则采用短周期缓存策略；当数据记录同时属于高实时性要求数据、慢速更新数据和大容量数据或中容量数据，则采用短周期缓存策略或后台增量更新策略；当数据记录同时属于高实时性要求数据、慢速更新数据和小容量数据，则采用短周期缓存策略；当数据记录同时属于低实时性要求数据和大容量数据或中容量数据，则采用短周期缓存策略或后台增量更新策略；当数据记录同时属于低实时性要求数据和小容量数据，则采用短周期缓存策略或实时更新策略或增量更新策略；所述短周期缓存策略为：用户访问数据同步的目标网站时，目标网站检查用户请求的数据记录在本地的最后更新时间与当前时间的时间差，当该时间差≤预定值，则以本地的数据记录返回给用户；当该时间差＞预定值，目标网站向数据同步的源网站请求更新，源网站将用户请求的数据记录的最新内容发送给目标网站，目标网站再返回给用户；所述实时更新策略为：用户访问数据同步的目标网站时，目标网站总是向数据同步的源网站请求更新，源网站将用户请求的数据记录的最新内容发送给目标网站，目标网站再返回给用户；所述增量更新策略为：数据同步的源网站将每条数据记录的最后更新时间作为时间戳，每条数据记录的时间戳的变化总是单向递增的；源网站仅将目标网站上时间戳与源网站上时间戳不一致的数据记录单向同步到目标网站；所述后台增量更新策略为：数据同步的源网站将每条数据记录的最后更新时间作为时间戳，每条数据记录的时间戳的变化总是单向递增的；目标网站根据本地数据记录的最新时间戳，向源网站请求所述最新时间戳之后发生变更的数据记录的标志字段；每条数据记录的标志字段至少记载了该条数据记录的时间戳和更新状态；所述最新时间戳之后发生变更的数据记录的标志字段从源网站同步到目标网站后，这些标志字段标记为“等待更新”；目标网站再将所有标记为“等待更新”的数据记录分一次或多次、单线程或多线程地从源网站进行数据更新。