一种基于分布式架构的日志数据存储和检索方法

摘要

本发明提供一种基于分布式架构的日志数据存储和检索方法，以解决海量用户上网日志数据的高性能存储问题和在多维度、多关键字条件下数据检索慢的问题。本发明的一个方面提供用户上网日志数据存储的方法，主要利用HBase和Solr实现分布式数据存储和索引创建，其中包括用户上网日志数据以条目形式存储到HBase中，建立唯一标识的方法，对用户上网日志数据进行维度拆分和维度分词处理，建立查询维度和分词关键字与数据标识之间的索引关系的方法，对日志数据进行维度拆分的方法，对维度进行分词处理的方法，还有根据维度和分词关键字建立索引的方法。本发明的另一方面提供用户上网日志数据检索方法，主要包括多维度、多关键字检索条件的组织和数据访问的方法。

主权项

一种基于分布式架构的日志数据存储和检索方法，其特征在于：包括利用HBase和Solr实现海量日志数据的存储方法和日志数据的检索方法。