一种基于历史访问记录的网络视频分类方法

摘要

本发明涉及一种基于历史访问记录的网络视频分类方法，属于计算机网络数据挖掘技术领域。首先通过对视频的历史访问记录数据集进行自动分析，抽取出有意义的特征后对其生成待用数据文件，通过所述数据文件将历史访问记录转化为可用于训练的结构化文档，然后用逻辑回归对所结构化文档进行机器学得到预测模型。使用预测模型，根据待预测视频历史访问记录信息的完整程度，对其选用相应的方法进行分类预测。本发明对比现有技术，在减少人工代价的同时，使参与计算的参数更为精简，预测效果更为准确、花费的时间更少。同时，由于可以根据待预测视频历史访问记录信息的完整程度对其选择聚类与否的操作，使其模型的应用更为广泛。

主权项

1.一种基于历史访问记录的网络视频分类方法，其特征在于，包括以下步骤：步骤一、对视频历史访问记录数据集进行分析，抽取出最精简的属性特征并生成待用数据文件，通过所述待用数据文件将视频历史访问记录转化为待训练结构化文档；具体过程如下：首先，对视频历史访问记录数据集，利用值分析方法去掉取值不正常的数据和属性，包括取值无变化的属性、缺失的或者噪音的数据、去除播放次数小于某一阀值的视频记录等等，得到数据集U；然后，利用基于互信息增益率的启发式属性约简算法，训练对数据集U的属性集进行约简；约简由核开始，逐步选择Z(c,R,D)达到最大的属性加入，直到所选择的属性子集分类能力与整个属性集的分类能力相同时结束，具体步骤如下：第一步，将预测系统S定义为一个四元组：S＝(U,A,V,f)，其中U＝{u₁,u₂,…,u_n}是视频对象集，即论域；A是视频的属性集合；为属性值的集合，V_a为属性a的值域；f是U×A→V_a的映射，它为U中各视频对象的属性指定唯一值；对于预测系统S，将属性集合A分为条件属性集C和决策属性集D，A＝C∪D，且C∩D＝φ，其中属性集C中包含的元素有视频IDc₁、标题c₂、类型c₃、时长c₄、URLc₅、URL信誉度c₆等；决策属性集合D包括受欢迎与否d；将该做了上述变化的预测系统S命名为决策系统L；由于在S中，对于属性集,构造对应的二元等价关系，当有a(x)＝a(y)}，称I_G为由G构造的不可分辨关系，则对决策系统L＝(U,C∪D,V,f)，设，I_R和I_D导出的划分分别为X＝{X₁,X₂,…X_n}和Y＝{Y₁,Y₂,…Y_n}，则R的熵定义为其中p(X_i)＝card(X_i)/card(U)；R相对D的条件熵定义为$H(D/R)=-\underset{i=1}{\overset{n}{\Sigma }}p\left(X_i\right)\underset{j=1}{\overset{m}{\Sigma }}p(Y_j/X_i)/\mathrm{gp}(Y_j/X_i),$其中p(Y_j/X_i)=card(Y_j∩X_i)/card(X_i))；决策属性集D和条件属性子集R的互信息定义为：W(R;D)＝H(D)-H(D/R)，属性重要性的度量方法定义为：Z(c,R,D)＝(W(R∪{c};D)-W(R;D))/H(c)，其中p_i是属性取值为x_i的对象的个数占总对象数N的比例，设属性c有m种取值x₁,x₂.…,x_m，N为总对象数；第二步，计算条件属性集C和决策属性集D的互信息W(C;D)＝H(D)-H(D/C)；第三步，计算核R＝CORE_D(C)，并计算W(R;D)，其中核的计算过程为：设CORE_D(C)＝φ，对于条件属性集C中的所有属性r，如果H({d}/C)<H({d}/C-{r})，则CORE_D(C)＝CORE_D(C)∪{r}；第四步，令C_candidate＝C-R，按Z(c,R,D)＝(W(R∪{c};D)-W(R;D))/H(c)计算C_candidate中各属性的重要性，并选择Z(c,R,D)达到最大的属性c_i；第五步，令R＝R∪{c_i}，若W(C;D)＝W(R;D)，则终止，并将约简后的属性集所对应的数据集用U′表示；否则转第四步继续执行；之后，对数据集U′进行主成分分析，得到彼此不相关的若干个主成分，具体步骤如下：第一步，对数据集U′进行Z标准化，得到数据集U′′；第二步，对数据集U′′进行主成分分析，得出各主成分的特征值、方差贡献率及累计方差贡献率，其中，对特征值按由大到小的方式进行排序；根据主成分累计方差贡献率大于85%的个数来确定主成分的个数k，根据主成分分析时得到的因子荷载表，写出k个主成分与数据集U′′中的各个属性之间的关系式，如下所示，其中m为数据集U′′中属性的个数：$\left\{\begin{array}{ccccccccc}{Z}_1& =& {\beta }_1{c}_1& +& {\beta }_2{c}_2& +& ...& +& {\beta }_m{c}_m\\ Z_2& =& {\beta }_{m+1}{c}_1& +& {\beta }_{m+2}{c}_2& +& ...& +& {\beta }_{2m}{c}_m\\ & & & & .& & & & \\ & & & & .& & & & \\ & & & & .& & & & \\ & & & & .& & & & \\ & & & & .& & & & \\ & & & & .& & & & \\ Z_k& =& {\beta }_{(k-1)m+1}{c}_1& +& {\beta }_{(k-1)m+2}{c}_2& +& ...& +& {\beta }_{\mathrm{km}}{c}_m\end{array}\right.$步骤二、用逻辑回归方法，对所述结构化文档进行机器学习，得到预测模型，具体过程如下：对步骤二得到的各主成分值进行二元逻辑回归分析，得出逻辑回归模型：$p=\frac{e^{{\alpha }_1{z}_1+{\alpha }_2{z}_2+{\alpha }_3{z}_3+...+{\alpha }_k{z}_k}}{1+e^{{\alpha }_1{z}_1+{\alpha }_2{z}_2+{\alpha }_3{z}_3+...+{\alpha }_k{z}_k}}$其中α₁,α₂,…,α_k为预测模型经过训练后得到的参数，P的值越接近于1，说明待分类视频越受欢迎，P越接近于0，说明待分类视频为越不受欢迎。若p≥0.5，则待分类视频为受欢迎视频；若p＜0.5，则待分类视频为不受欢迎视频；步骤三、使用上述预测模型对视频进行欢迎与否的测试，具体过程如下：首先，判断视频历史访问记录的信息完整性，如果待预测视频是新视频，即该视频的历史访问记录不存在，根据视频的特征信息计算tf-idf值，用tf-idf矩阵作为聚类模型的输入，得到新视频的最相似视频，并将其历史访问记录信息设为新视频的历史访问记录信息；如果待预测视频不是新视频，直接进行下一步；然后，对待预测视频的历史访问记录数据进行相应的转化，即进行特征抽取；最后，使用预测模型对其进行欢迎与否的分类。