一种基于偏好度的网页文本内容管控方法

摘要

本发明公开了一种基于偏好度的网页文本内容管控方法。本发明的方法包括通过分析用户感兴趣的网页信息生成用户偏好网页库，利用文本智能分析技术计算出待管控网页的偏好度，依据此偏好度进行对网页的管控，同时用户根据管控结果进行反馈，更新偏好网页库。本发明的方法通过这种循环反馈式的增强学，使得偏好库中的用户偏好信息将得到持续修正，不断逼近用户“真实”的偏好，最终加强对网页管控能力。本发明的方法不仅能实现对网络不良信息过滤，维护网络信息的健康，而且能过滤掉网络上大量对用户而言无用的信息，为用户推送与其密切相关的信息。

主权项

1.一种基于偏好度的网页文本内容管控方法，其特征在于，包括网页库生成步骤、网页库分析步骤和用户信息反馈步骤，其中，网页库生成步骤包括如下分步骤：S11.对网页文本信息分别进行分词,并且利用停用词表，除去分词里面的常用停用词，得到特征值f_i；S12.计算每个词汇的统计值，按照对词汇进行降序排序，选出与分类最相关的M个特征值，表示特征值为f_i的统计值，具体计算公式如下：${\chi }_{\mathrm{avg}}^2\left(f_i\right)=\underset{j=1}{\overset{n}{\Sigma }}p\left(c_j\right)·{\chi }^2(f_i,c_j)=\underset{j=1}{\overset{n}{\Sigma }}p\left(c_j\right)·\frac{N·{(A_1·A_4-A_3·A_2)}^2}{(A_1+A_3)·(A_2+A_4)·(A_1+A_2)·(A_3+A_4)}$其中，A₁表示属于c_j类别并且含有特征值f_i的网页数量，A₂表示属于c_j类别并且不含特征值f_i的网页数量，A₃表示不属于c_j类别并且含有特征值f_i的网页数量，A₄表示不属于c_j类别并且不含特征值f_i的网页数量，n表示特征值的数量，N表示所有的网页数量；S13.根据以下公式计算出每个特征值f_i的条件概率值p(F=f_i|C=c_j)，$p(F=f_{i|}C=c_j)=\frac{n_{\mathrm{ij}}}{\mathrm{Num}\left(c_j\right)},$c_j∈{preference,non-preference}其中，n_ij为特征值f_i在c_j类别网页中出现的次数，Num(c_j)为c_j类别的网页总数，preference表示用户感兴趣的分类，non-preference表示用户不感兴趣的分类；S14.将提取出来的特征值和相对应的概率值，以及每个类别的网页总数记录下来，构成偏好网页库；网页库分析步骤包括如下分步骤：S21.计算出当前待分析网页文本d={f₁,f₂,...,f_n}的偏好度p(C=preference|d)，$p(C=\mathrm{preference}|d)=\frac{P(C=\mathrm{preference})*\underset{i=1}{\overset{n}{\Pi }}P(F=f_i|C=\mathrm{preference})}{\underset{c_j\in C}{\Sigma }P(C=c_j)*\underset{i=1}{\overset{n}{\Pi }}P(F=f_i|C=c_j)}$$p(C=c_j)=\frac{\mathrm{Num}\left(c_j\right)}{\mathrm{Num}\left(\mathrm{page}\right)},$c_j∈{preference,non-preference}其中，Num(page)为所有网页的数量，Num(c_j)为属于c_j类的网页数量，p(F=f_i|C=c_j)为网页库生成阶段计算出来的概率值；S22.将计算出的偏好度p(C=preference|d)与用户初始设定的阈值进行比较，如果此偏好度大于阈值，则将该网页标记为用户所关心的网页；用户信息反馈步骤包括如下分步骤：S31.提取用户当前网页的特征值，以及计算特征值在网页中出现的频率fn_i；S32.如果是一个没有推荐给用户的网页是用户所关心的，则执行步骤S33，如果是一个推送给用户的网页是用户所不关心的，则执行步骤S34；S33.计算每一个特征值的概率值p^*(F=f_i|C=preference)$p^{*}(F=f_{i|}C=\mathrm{preference})=\frac{n_{\mathrm{preference}}+2*{\mathrm{fn}}_i}{{\mathrm{Num}}^{*}\left(\mathrm{preference}\right)}$Num*⁽preference)=Num(preference)+2其中，n_preference为该特征值在用户关心的网页中出现的次数，用p^*(F=f_i|C=preference)替换该特征值原有的概率值p(F=f_i|C=preference)，用Num^*(preference)替换Num(preference)，更新偏好网页库；S34.计算每一个特征值的概率值p^*(F=f_i|C=non-preference)Num^*(non-preference)=Num(non-preference)+2其中，n_{non-preference}为该特征值在用户不关心的网页中出现的次数，用p^*(F=f_i|C=non-preference)替换该特征值原有的概率值p(F=f_i|C=non-preference)，用Num^*(non-preference)替换Num(non-preference)，更新偏好网页库。