基于深度学的网页区域识别算法

摘要

一种基于深度学的网页区域识别算法，包括以下步骤：A、以格式化文本，网页的超文本标记语言HTML的源码作为算法输入；B、通过HTML2XML算法提取出网页区域的视觉特征向量；C、通过HTML2XML算法提取出网页区域的文本内容，并通过神经网络语言模型学出文本特征向量；D、以堆叠降噪自动编码器SDAE作为特征学方法，将上述特征向量作为SDAE的输入向量；E、使用分类算法对SDAE的输出向量进行分类，对向量的分类结果即为该向量所对应的网页区域的识别结果。通过本发明可对网页内的标题区、正文区、导航区等视觉区域进行准确识别，识别准确率达99.99%-100%。

主权项

一种基于深度学习的网页区域识别算法，包括以下步骤：A、格式化文本：以网页的HTML源码作为算法输入；B、视觉特征处理：将HTML转化为XML，提取网页内不同区域的视觉特征；选择上述视觉特征，得到视觉特征向量；将视觉特征向量进行归一化，得到归一化后的视觉特征向量；C、文本特征处理：将HTML转化为XML，提取网页区域内的文本；对文本进行分词；通过神经网络语言模型学习出文本特征向量；D、以堆叠降噪自动编码器SDAE作为特征学习算法，将上述处理后的特征向量作为SDAE的输入向量；E、使用分类算法对堆叠降噪自动编码器SDAE学习得到的特征向量进行分类，对向量的分类结果即为该特征向量所对应的网页区域的识别结果。