一种基于k阶混合马尔可夫模型的Web页面访问预测方法

摘要

本发明公开了一种基于k阶混合马尔可夫模型的Web页面访问预测方法，首先收集和整理Web服务器访问日志数据，识别客户端和用户，排除无意义的访问数据；再识别用户会话，组建Web日志数据库；并根据预测目标从数据库中选取日志数据，以会话为单位组织(k+1)元组，用于训练k阶混合马尔可夫模型；采用最大期望算法学和校准k阶混合马尔可夫模型的参数集；根据目标用户页面访问操作识别会话，应用上述模型预测用户下一步访问的Web页面。本发明可向用户推荐需要访问的页面，减少页面访问的延迟，优化用户体验；从Web服务器角度可以改善Web页面的组织结构，指导搜索引擎的结果排序，改进页面缓存机制，从而提高服务质量。

主权项

1.一种基于k阶混合马尔可夫模型的Web页面访问预测方法，其特征在于包含以下步骤：1)首先收集和整理Web服务器访问日志数据，针对日志中的每一项访问记录，识别客户端浏览器和用户；排除无意义的访问数据；根据每一项记录析取访问操作o=<u，x，t>，其中u表示用户、x表示Web页面、t表示页面访问时间；2)识别用户会话S，用于组建Web日志数据库，储备用于Web页面访问预测的历史数据；3)根据预测目标从数据库中选取和组织日志数据，按会话整理和组织(k+1)元组集合；流程是：首先基于预测目标选定用户并获取会话数据；然后以会话为单位抽取(k+1)元组X=<x₁，x₂，...，x_k，x_k+1>，每一个(k+1)元组属于同一个会话，包含会话中用户连续访问的一组页面；相邻两个(k+1)元组的访问页面允许部分重叠；最后所有(k+1)元组构成一个数据集合4)建立k阶混合马尔可夫模型，并采用最大期望算法训练该k阶混合马尔可夫模型，再基于数据集学习和校准k阶混合马尔可夫模型的参数集；流程是：k阶混合马尔可夫模型由k个状态转移矩阵{Λ₁，Λ₂，...Λ_k}和一个权值向量A={α₁，α₂，...，α_k}组成，令Web服务器中页面总数为n，则转移矩阵Λ_j是一个n×n矩阵，其元素λ_j(x，y)表示页面x被访问后，页面y在同一会话中间隔j个页面后被访问的概率，即条件概率p(x_k+1|x_k-j+1)，其中页面x_k-j+1和x_k+1分别等同于页面x和y；k阶混合马尔可夫模型中k个状态转移矩阵中所有n²k个元素，以及权值向量A中的k个权值，构成模型需要训练的参数集；首先给定数据集计算各参数的初值，权值向量A中元素的初值为：${\alpha }_j=\frac{1}{k},(1\le j\le k)$对于状态转移矩阵Λ_j，令数据集中的(k+1)元组数量为m，元组X_i＝<x_i，1，x_i，2，...，x_i，k，x_i，k+1>，元素λ_j(x，y)的初值为：其中δ()函数的定义为：$\delta \left(b\right)=\left\{\begin{array}{cc}1& \mathrm{b\; is\; true}\\ 0& \mathrm{b\; is\; false}\end{array}\right.$然后根据当前参数值计算下一次迭代需要的新参数值，分别标记为α′_j和λ′_j(x，y)，为计算新参数值，引入隐变量集Θ={θ₁，θ₂，...，θ_m}，其中隐变量θ_i代表元组X_i自身的随机特征；令j为间隔访问的页面数，θ_i(j)计算公式如下：${\theta }_i\left(j\right)=\frac{{\alpha }_j·{\lambda }_j(x_{i,k-j+1},x_{i,k+1})}{{\Sigma }_{l=1}^k{\alpha }_l·{\lambda }_l\left(x_{i,k-l+1,}{x}_{i,k+1}\right)}$根据θ_i(j)，可估计各参数的新值如下：${\alpha }_j^{\prime }=\frac{1}{m}\underset{i=1}{\overset{m}{\Sigma }}{\theta }_i\left(j\right)$最后分别代入前一轮参数值和新参数值，计算训练集的似然函数，通过判定似然函数是否收敛，确定k阶混合马尔可夫模型是否训练完毕；5)基于目标用户对Web页面的访问操作，识别最近的用户会话，应用训练后的k阶混合马尔可夫模型预测用户下一步访问的Web页面。