一种数据并行批量导入只读查询系统的方法及系统

摘要

本发明涉及一种数据并行批量导入只读查询系统的方法及系统，系统由协调器，Hadoop驱动程序模块与线上查询系统驱动模块组成，方法为：1）接收原始特征数据请求，并转发到Hadoop进行处理；2）根据节点映射规则在Hadoop上建立Map/Reduce任务并在每个reducer任务节点上生成特征数据的数据块；3）将数据块放置到Hadoop对应节点上，并通过只读查询系统并行读取对应节点上的数据块。本发明利用Hadoop的并行框架处理特征数据，避免线下系统导回线上系统过程中的索引计算和副本计算对线上系统计算资源的消耗。同时将Hadoop形成的数据块，在后台并行异步的读取到线上系统上，减少对线上系统影响。

主权项

一种数据并行批量导入只读查询系统的方法，其步骤包括：1）接收原始特征数据请求，并转发到Hadoop进行处理；2）根据节点映射规则在所述Haddoop上建立多个Map/Reduce任务并在每个reducer任务节点上生成特征数据的数据块；3）将所述数据块放置到Hadoop的对应节点上，并通过只读查询系统并行读取Hadoop上的对应节点上的数据块。