一种基于网络爬虫与结构化存储的数据处理方法

摘要

本发明涉及一种基于网络爬虫与结构化存储的数据处理方法，属于计算机应用技术领域。本发明包括如下步骤：步骤一：确定数据源并配置网络爬虫系统；步骤二：根据数据源特征以及预设的元数据结构，对数据处理界面进行配置；步骤三：针对网页爬虫获取的数据与文件进行筛选排重；步骤四：依据索引把数据与文件的调取到不同的数据维护界面。本发明不需要大量人员去跟踪各个数据来源，也减少了数据来源比对，排重的工作量，有效的提高了获取数据的效率。在数据存储过程中，采用了结构化的处理方式，对数据进行了标准化，数据进入数据库前会经过正确的逻辑校验，保证了数据的准确性和完整性。网络爬虫模块。

主权项

一种基于网络爬虫与结构化存储的数据处理方法，其特征在于：包括如下步骤：步骤1：确定数据源并配置网络爬虫系统；步骤2：根据数据源特征以及预设的元数据结构，对数据处理界面进行配置；步骤3：针对网页爬虫获取的数据与文件进行筛选排重，对网站上页面的资讯根据URL地址进行筛选排重，非重复的数据进入数据库，由系统平台进行复制，复制过程中比较48小时内相似新闻取标题、段前的正文、段尾的正文进行比较或正文分词比较大于或等于80％相信资讯进行记录并且修改采集状态显示在系统平台中供采集；步骤4：依据索引把数据与文件的调取到不同的数据维护界面；步骤5：对已经结构化的数据处理；步骤6：对非结构化的数据以及文件类的数据处理；步骤7：符合规则的数据进入数据库，不符合规则的数据在前台进行提示并返回人工进行处理，直到满足规则才允许进入数据库存储。