一种基于MapReduce编程架构的索引生成方法和装置

摘要

本发明涉及一种基于MapReduce编程架构的索引生成方法和装置，其中方法包括步骤：获取数据，并将数据整理成统一的格式，以记录集合形式进行存储；对记录集合中的每条数据记录进行头部封装；向HBase集群批量插入经头部封装的数据记录；调用Hadoop集群中的MapReduce服务和HBase服务，连接Solr集群；进行Map操作，提交运行索引并行生成任务，形成倒排索引中间文件；进行Reduce操作，生成倒排索引文件；启动一个新的Map任务，对倒排索引文件进行分片操作，生成最终的索引。采用本发明的方法和装置能实现高效分布式海量数据的存储与索引的建立，并具有可扩展、高容错、高性能等优点。

主权项

一种基于MapReduce编程架构的索引生成方法，其特征在于，包括步骤：获取数据，并将所述数据整理成统一的格式，以记录集合形式进行存储；对所述记录集合中的每条数据记录进行头部封装；并行向HBase集群批量插入经头部封装的所述数据记录；调用Hadoop集群中的MapReduce服务和HBase服务，连接Solr集群，确认集群状态；对所述HBase集群中的数据记录进行Map操作，提交运行索引并行生成任务，形成倒排索引中间文件；对所述HBase集群中的数据记录进行Reduce操作，将多份经过Map操作的倒排索引中间文件汇总为统一的倒排索引文件；启动一个新的Map任务，对所述倒排索引文件进行分片操作，将所述倒排索引文件中每个倒排索引数据块对应到不同的Solr集群节点上，生成最终的索引。