适于URL数据抓取中对数据缓存的方法及装置

摘要

本发明公开了一种适于URL数据抓取中对数据缓存的方法，包括：周期性抓取URL数据；将每次抓取的URL数据均有序缓存到第一布隆过滤器Bloomfilter存储容器和第二Bloomfilter存储容器中，其中，第一Bloomfilter存储容器和第二Bloomfilter存储容器的存储容量相同；在URL数据的存储过程中，监控所述第一Bloomfilter存储容器和第二Bloomfilter存储容器的URL数据存储量；根据监控的数据存储情况，轮流清空所述第二Bloomfilter存储容器和所述第一Bloomfilter存储容器。采用本发明能够以空间换时间，提高数据的稳定性，避免业务波动，有效的减少了系统的波动范围，可以降低了对系统其他模块的冲击。

主权项

一种适于URL数据抓取中对数据缓存的方法，包括：周期性抓取URL数据；将每次抓取的URL数据均有序缓存到第一布隆过滤器Bloomfilter存储容器和第二Bloomfilter存储容器中，其中，第一Bloomfilter存储容器和第二Bloomfilter存储容器的存储容量相同；在URL数据的存储过程中，监控所述第一Bloomfilter存储容器和第二Bloomfilter存储容器的URL数据存储量；根据监控的数据存储情况，轮流清空所述第二Bloomfilter存储容器和所述第一Bloomfilter存储容器。