用于网络文档批处理索引的系统和方法

摘要

一过程利用了宿有网站的服务器的结构，所述结构包含数据库中存储的变化日志，用于为搜索查询批处理索引文档。该站点的内容被批处理并成批的从服务器运送至索引程序。变化日志能追踪站点内容的变化，索引程序增量地请求使用变化日志来更新索引，并且对变化进行批处理，从而能减少带宽使用和处理器开销的成本。

主权项

一种用于由索引程序对存储器中的文档进行批处理索引的计算机实现的方法，其中所述文档被组织到一层次中，所述层次包括站点、子站点和包含符，所述存储器包含在一服务器中，所述服务器包括web服务和为所述存储器中所包含的站点的每一个文档、包含符和子站点提供对象的对象模型，所述方法包含：向所述web服务发送对与层次中的站点有关的信息的第一请求，其中所述web服务将所述第一请求转发到所述对象模型，所述对象模型将多个子站点的列表返回给所述web服务；响应于所述第一请求，从所述web服务接收所述列表作为URL列表；发送对与所述多个子站点的列表中的一个子站点有关的信息的第二请求；响应于所述第二请求，从所述web服务接收包括在所述一个子站点内的包含符的列表；发送对存储在所述包含符的列表中的一个包含符内第一批次文档数据的第三请求；接收所述第一批次文档数据，其中所述第一批次文档数据是基于由所述web服务接收的元数据而确定的，所述元数据对应于所述存储器中的文档并用于确定要包括在所述第一批次文档数据中的所述存储器中的文档数据；索引所述第一批次文档数据；向所述web服务发送对所述服务器中存储的变化日志中的当前位置的请求，其中所述请求对应于对所述变化日志中的上一次变化标识符的请求；接收并存储所述上一次变化标识符；发送对向站点内组织的文档作出的改变的第四请求，所述第四请求包括所述上一次变化标识符；响应于所述第四请求，接收自从所述上一次变化标识符以来的一批次经改变的文档数据，并接收当前变化标识符；根据所接收的一批次经改变的文档数据，更新索引；将所述当前变化标识符存储为供下一次使用的上一次变化标识符。