深度包检测装置、网页数据处理方法、采集方法及系统

摘要

本发明公开了一种网页数据处理方法、网页数据采集方法、深度包检测装置以及网页数据采集系统。其中，网页数据采集方法包括根据网页地址信息库选择性地抓取流向网页服务器的HTTP协议报文；解析抓取到的HTTP协议报文的内容；提取HTTP协议报文中的标签字段的内容；根据标签字段的内容对抓取到的HTTP协议报文中的数据进行选择性采集。本发明能够将深度包检测技术与网页数据采集技术相结合，提升了对网页数据的采集分析效率，减小了对海量数据进行采集和分析的成本。同时，由于采用标签字段，所以能够更准确地对网页的数据进行采集。

主权项

一种网页数据处理方法，其特征在于，包括：根据数据采集需求确定每个网页的HTTP协议报文的数据采集范围；在每个网页的HTTP协议报文中加入标签字段，所述标签字段的内容表示网页的HTTP协议报文的数据采集范围。