海量资料索引建立系统及方法

摘要

种海量资料索引建立系统及方法，该系统安装并运行于计算装置中，该计算装置包括存储设备。该系统包括：资料分配模块，用于从资料列表池中获取资料列表，在存储设备中建立多个资料队列，并将资料列表分配到资料队列中。索引建立模块，用于针对每一个资料队列中的资料列表建立一个资料子索引，并将该资料列表从相应的资料队列中移除。优先处理模块，用于当资料列表需要优先处理时将优先权级别最高的该资料列表移入资料队列中优先处理。索引合并模块，用于将资料子索引进行合并成资料列表池的资料根索引。本发明能够同时监控多个建立索引进程，排配建立索引的优先级，并依照当前系统的可用运算资源的多少来动态调整建立索引的速度。

主权项

一种海量资料索引建立系统，安装并运行于计算装置中，该计算装置包括存储设备，其特征在于，所述的海量资料索引建立系统包括：资料分配模块，用于从存储设备的资料列表池中获取需要建立索引的资料列表，为每一个资料列表设定一个优先权级别，在存储设备中建立多个资料队列，并按照优先权级别将获取的资料列表分配到资料队列中；索引建立模块，用于针对每一个资料队列中的资料列表建立一个资料子索引，将已建立的资料子索引保存在存储设备中，并将该资料列表从相应的资料队列中移除；优先处理模块，用于检查资料列表池中是否有资料列表需要优先处理，当有资料列表需要优先处理时，从资料列表池中获取优先权级别最高的资料列表，并将该资料列表移入空闲的资料队列中优先处理；以及索引合并模块，用于将所有建立的资料子索引合并成一个资料列表池的资料根索引，并将该资料根索引保存在存储设备中。