一种基于网站内容用于网站自动分类分析的系统

摘要

本发明公开了一种基于网站内容用于网站自动分类分析的系统，包括抓取模块、网页文本内容解析模块、分词模块、特征训练提取模块以及网页分类模块；特征训练提取模块通过计算每个候选特征词的重要度、区分度和特征关键词权重，并根据特征关键词权重来排序选取权重最大的若干特征词，对选取的特征词进行归一化处理后，使用特征词权重作为权值，根据已知选取特征词集合及权重集合建立网站类别向量模板；网页分类模块用于根据特征训练提取模块得到的选取特征词集合及权值形成特征空间向量，再计算特征空间向量与待分类站点的特征空间向量相似度来确定站点所属类别。有效的解决目前网络信息杂乱的现象，方便用户准确地查找定位所需的信息。

主权项

一种基于网站内容用于网站自动分类分析的系统，其特征在于，包括抓取模块、网页文本内容解析模块、分词模块、特征训练提取模块以及网页分类模块；抓取模块用于对网站关键资源相关内容的抓取；网页文本内容解析模块用于对网页不同标签进行分块并且对各个标签块的内容进行分析及去噪处理得到分块网页文本集；分词模块用于对不同分块网页文本集进行分词处理，并计算得到候选特征词及其出现频率和词性；特征训练提取模块用于计算每个候选特征词的重要度、区分度和特征关键词权重，并根据特征关键词权重来排序选取权重最大的若干特征词，对选取的特征词进行归一化处理后，使用特征词权重作为权值，根据已知选取特征词集合及权重集合建立网站类别向量模板；网页分类模块用于根据特征训练提取模块得到的选取特征词集合及权值形成特征空间向量，再计算特征空间向量与待分类站点的特征空间向量相似度来确定站点所属类；所述网页文本内容解析模块将网页不同标签分为标题块、元数据描述块、超链接块、H块及P块。