一种基于时间窗口的网络爬虫流量控制自动降级方法

摘要

本发明涉及网络流量控制技术领域，特别是一种基于时间窗口的网络爬虫流量控制自动降级方法，包括以下步骤，步骤S101：数据接收，接收网络爬虫数据，并对爬虫数据的接收通过消息中间件进行解耦；步骤S102：数据处理优先级确定，通过记录网络爬虫数据的原始时间和当前时间的延迟，生成延迟时间的正太分布图，根据不同分位的延迟度量值来决定数据的优先级；步骤S103：流量控制，将流控系统的信息处理速度与阈值对比，优先处理易于延迟度量值的数据，处理速度允许则同时处理暂存数据，控制暂存数据的处理速度；步骤S104：处理完成。采用上述方法后，通过动态调整处理速度，保证系统的稳定；根据当前的速度调整处理消息的延迟时间窗，保证系统的稳定运行。

主权项

一种基于时间窗口的网络爬虫流量控制自动降级方法，其特征在于，包括以下步骤，步骤S101：数据接收，接收网络爬虫数据，并对爬虫数据的接收通过消息中间件进行解耦；步骤S102：数据处理优先级确定，通过记录网络爬虫数据的原始时间和当前时间的延迟，生成延迟时间的正态分布图，根据不同分位的延迟度量值来决定数据的优先级；步骤S103：流量控制，将流控系统的信息处理速度与阈值对比，优先处理易于延迟度量值的数据，处理速度允许则同时处理暂存数据，控制暂存数据的处理速度；步骤S104：处理完成。