一种基于URL的分类识别方法

摘要

本发明涉及一种基于URL的分类识别方法，包括：步骤1，分类器对投放广告的网站网页进行分类，得到该网站所有URL对应网页的类别；步骤2，根据该网站的所有URL生成该网站的URL树；步骤3，根据广告请求的URL匹配所述URL树，返回匹配结果。本发明中描述的基于URL的分类识别方法对广告匹配延迟、URL存储量大、未索引页面不能及时分类等问题都有很好的改善处理。

主权项

一种基于URL的分类识别方法，其特征在于，包括：步骤1，利用分类器对投放广告的网站网页进行分类，得到该网站所有URL对应网页的类别；步骤2，根据该网站的所有URL生成该网站的URL分类识别树；步骤3，根据广告请求的URL匹配所述URL分类识别树，返回匹配结果；步骤2包括：步骤21，对URL进行切分得到其表征值；步骤22，根据计算所得的最大信息增益率值对应的关键字k作为生成URL分类识别树的下一个节点，其中：IG(k,C)＝H(C)‑H(C|k)；$H\left(C\right)=-\underset{i}{\Sigma }p\left(c_i\right)\log p\left(c_i\right);$$H\left(C\right|k)=-\underset{v}{\Sigma }p(k=v)\underset{i}{\Sigma }p\left(c_i\right|k=v)\log p\left(c_i\right|k=v);$$H\left(k\right)=-\underset{v}{\Sigma }p(k=v)\log p(k=v);$$p\left(c_i\right)=\frac{{\Sigma }_{u\in c_i}\mathrm{Imp}\left(u\right)}{{\Sigma }_{u^{\prime }\in U}\mathrm{Imp}\left(u^{\prime }\right)};$Imp^d(u)＝(1‑α)Imp^d‑1(u)+αfreq^d(u)C表示类别，Imp(u)是URL u的访问频率，α表示平滑因子，Imp^d(u)通过特定日d的访问频率freq^d(u)和前一天的Imp^d‑1(u)计算获得，c_i表示C中的第i个类别，i＝1,2,3,...，v表示关键字k对应的值，u(k)表示URL u中关键字k的值，U表示URL集合,u'表示URL集合U中的实例；步骤23，当节点下URL属于同一类，或者节点含有的URL的访问次数小于预先设定的阈值且候选节点分割不具有统计意义，或者没有属性可以再用于分割，则分割停止。