基于CDN的网页内容感知系统及方法

摘要

本发明提出一种基于CDN的网页内容感知系统包括数据获取模块、数据管理模块、处理模块和控制器。数据获取模块用于采集日志数据。数据管理模块包括第一存储模块，第一存储模块存储有索引表，索引表包括特定互联网内容提供商的预定URL及其对应的预定页面结构。控制器用于控制数据获取模块采集日志数据，并控制处理模块从日志数据中提取出URL及相关参数；控制器还用于控制处理模块根据预定URL从URL中筛选出目的URL，以及控制处理模块根据预定页面结构对目的URL的页面结构进行分析以感知网页的特征词。本发明的基于CDN的网页内容感知系统具有全面的、实时性高、通用性强的特点。本发明还提出一种基于CDN的网页内容感知方法。

主权项

一种基于CDN的网页内容感知系统，其特征在于，包括：数据获取模块，所述数据获取模块用于采集日志数据；数据管理模块，所述数据管理模块包括第一存储模块，所述第一存储模块存储有索引表，所述索引表包括特征互联网内容提供商的预定URL(uniform resource locator)及预定URL对应的网页的预定页面结构；处理模块，所述处理模块从所述日志数据中提取出URL及相关参数，根据所述预定URL从所述URL中筛选出目的URL，并根据所述预定页面结构对所述目的URL的页面结构进行分析以感知所述网页的特征词；以及控制器，用于控制所述数据获取模块采集日志数据，并控制所述处理模块从所述日志数据中提取出所述URL及相关参数；所述控制器，还用于控制所述处理模块根据所述预定URL从所述URL中筛选出目的URL，以及控制所述处理模块根据所述预定页面结构对所述目的URL的页面结构进行分析以感知所述网页的特征词。