主权项 |
一种海量数据下可靠索引更新系统,其特征在于,包括日志预写模块(1)、日志数据库(2)、断点控制模块(3)、断点设置模块(4)、资源缓存模块(5)和内存索引存储区(6);所述日志预写模块(1),用于实时接收从物联网实体资源数据中心(7)推送来的资源更新信息,并将资源更新信息以“资源ID+属性参数”的格式写入日志数据库中;所述日志数据库(2),用于保存各条“资源ID+属性参数”的资源更新记录;所述断点控制模块(3),用于根据所述日志数据库(2)中保存的资源更新记录的增长情况判断是否达到阈值,如果达到阈值,将断点信号发送至所述断点设置模块(4)后,再发送更新信号至所述资源缓存模块(5)进行处理;所述断点设置模块(4),用于记录各组资源更新记录的断点信息,当接收到所述断点信号后,以本组资源更新记录中更新的最后一条资源更新记录作为断点来建立断点信息,并将断点信息写入断点记录表中;所述资源缓存模块(5),用于当接收到更新信号后,在建立的更新记录缓存区或所述内存索引存储区(6)中逐一对本组的资源更新记录的内容进行更新处理;所述内存索引存储区(6),用于当资源缓存模块(5)处理完成后,将在更新记录缓存区处理的资源更新记录的内容导入,并根据经过更新处理后的资源更新记录的内容对内存索引文件进行更新。 |