非结构化数据的处理方法和装置

摘要

本发明实施例提供一种非结构化数据的处理方法和装置。该非结构化数据的处理方法包括：根据预先配置的字典树，对待处理的数据进行分词处理，获取分词结果；所述字典树是根据所述预先配置的知识数据库建立的，所述知识数据库为二元组的集合，且所述二元组的集合包括文本信息和对应的编号；采用向量空间模型VSM，进行向量化处理，获取向量化结果；采用主成分分析法PCA或奇异值分解算法SVD，进行降维处理，获取降维结果；采用数据挖掘算法K-means算法对所述降维结果进行连续两次聚类计算，并根据所述聚类计算获取的欧氏距离或余弦相似度，对所述待处理数据进行聚类，获取聚类结果，有效的提高了非结构化数据的聚类处理的质量和效率。

主权项

一种非结构化数据的处理方法，其特征在于，包括：根据预先配置的字典树，对获取的待处理的数据进行分词处理，获取分词结果；所述字典树是根据所述预先配置的知识数据库建立的，其中，所述知识数据库为二元组的集合，且所述二元组的集合包括文本信息和对应的编号；采用向量空间模型VSM，对所述分词结果进行向量化处理，获取向量化结果；采用主成分分析法PCA或奇异值分解算法SVD，对所述向量化结果进行降维处理，获取降维结果；采用数据挖掘算法K‑means算法对所述降维结果进行连续两次聚类计算，并根据所述聚类计算获取的欧氏距离或余弦相似度，对所述待处理数据进行聚类，获取聚类结果。