个性化分布式数据挖掘系统

摘要

个性化分布式数据挖掘系统提出了一种基于Excel,Java和Html的分布式个性化数据挖掘系统，包括控制模块，目标网站读取模块，结果文件生成模块，目标网站抽取并写入结果文件模块和数据清洗模块五个模块。控制模块是整个系统参数控制的核心，设置了系统运行的参数，目标网站读取模块读取了用户设置的目标网站列表和关键词等参数，并且将其传递给了目标网站抽取并写入结果文件模块，该模块对目标网站进行二层乃至多层的数据分析，并且按照关键词进行过滤，并将分析结果传递给了数据清洗模块，将数据进行清洗，并写入了结果文件。综上所述，该系统是一个采用Excel保存用户参数，使用Java进行数据挖掘和分析，并将最终结果存储在Html的文件的一个系统。

主权项

个性化分布式数据挖掘系统主要是提供了一种基于Excel，Java，html的数据挖掘系统，该系统包括以下几个模块：中央控制模块：中央控制类constructure保存系统运行的一些关键参数，目标网站名单读取模块：采用excel表格存储目标网站列表和关键词，并且使用java语言读取信息，结果文件生成模块：使用html格式的文件用来存储结果信息，使用html_writer_wrapper类保存写结果文件前端和后端两个方法，目标网站抽取并写入结果文件模块：将excel表格中获得的目标网站列表和关键词列表信息，对目标网站群进行数据抽取并且按照关键词列表进行比对和过滤，将过滤之后的结果写入结果文件之中，数据清洗模块：将抽取的数据信息进行清洗整合之后存入结果文件之中。