一种基于IDC有害信息监测系统的样本训练系统

摘要

本发明公开了一种基于IDC有害信息监测系统的样本训练系统，爬虫样本训练单元中，主题相关度计算模块将爬虫系统抓取的网页信息结合爬虫样本数据库计算网页的主题相关度，并根据该主题相关度调整URL队列，过滤掉低于预设阈值的URL，并把计算得到的主题相关度值反馈给爬虫样本训练模块，爬虫样本训练模块进行训练学后，更新爬虫样本数据库；有害监测样本训练单元中，关键字近似词汇训练模块，有害信息监测系统根据近似匹配算法所生成的与输入字符串相关的近似词汇进行有害检测，关键字近似词汇训练模块根据搜索结果拟合度计算模块来确定搜索结果的准确性，判断近似词汇的相似度，并将有效的近似词汇更新到有害监测样本数据库中。

主权项

一种基于IDC有害信息监测系统的样本训练系统，它包括爬虫系统和有害信息监测系统，有害信息监测系统通过爬虫系统获取互联网数据中心中的网页数据，并对其进行有害分析，其特征在于：所述样本训练系统包括设置在爬虫系统中的爬虫样本训练单元和设置在有害信息监测系统中的有害监测样本训练单元；所述爬虫样本训练单元包括爬虫样本训练模块、爬虫样本数据库和主题相关度计算模块，主题相关度计算模块将爬虫系统抓取的网页信息结合爬虫样本数据库计算网页的主题相关度，并根据该主题相关度调整URL队列，过滤掉低于预设阈值的URL，并把计算得到的主题相关度值反馈给爬虫样本训练模块，爬虫样本训练模块进行训练学习后，更新爬虫样本数据库；所述有害监测样本训练单元包括关键字近似词汇训练模块、搜索结果拟合度计算模块和有害监测样本数据库；关键字近似词汇训练模块，有害信息监测系统根据近似匹配算法所生成的与输入字符串相关的近似词汇进行有害检测，关键字近似词汇训练模块根据搜索结果拟合度计算模块来确定搜索结果的准确性，判断近似词汇的相似度，并将有效的近似词汇更新到有害监测样本数据库中。