对用于分布式抓取的搜索空间进行分区的方法和装置

摘要

本发明涉及一种对用于分布式抓取的搜索空间进行分区的方法和装置。用于对抓取空间进行分区的计算机实现的过程的一个示例性实施例包括：计算事件集合中的每个事件的事件标识符以形成标识后的事件集合；将所述标识后的事件集合划分成多个分区；为节点集合中的每个节点分配一个分区；以及由相应节点执行每个分配的分区中的每个事件。响应于判定发现新状态，向其它节点通知所述新状态，其中将与所述新状态关联的信息添加到每个节点处的相应分配的事件ID集合。响应于判定不存在更多通知，所述计算机实现的过程判定是否存在更多待处理事件，以及响应于判定不存在更多待处理事件，所述计算机实现的过程终止。

主权项

一种用于对抓取空间进行分区的计算机实现的过程，所述计算机实现的过程包括：计算事件集合中的每个事件的事件标识符以形成标识后的事件集合；将所述标识后的事件集合划分成多个分区；为节点集合中的每个节点分配一个分区；由相应节点执行每个分配的分区中的每个事件；判定是否发现新状态；响应于判定发现新状态，向其它节点通知所述新状态；将与所述新状态关联的信息添加到每个节点处的相应分配的事件ID集合；判定是否存在更多通知；响应于判定不存在更多通知，判定是否存在更多待处理事件；以及响应于判定不存在更多待处理事件而终止。