基于半监督概率潜在语义分析的软件变更日志分类方法

摘要

本发明提供了一种基于半监督概率潜在语义分析的软件变更日志分类方法，该方法结合了先验知识所确定的单词字典，并根据单词与单词之间的概率相关性、单词与变更日志类别之间的概率相关性、以及软件变更日志自身与变更日志类别之间的概率相关性，客观地对软件变更日志进行分类，避免了依据词频特性的权重值进行软件变更日志的分类，使得分类的准确性得以提升，有效地解决了现有技术中因人为设定权重值导致软件变更日志分类存在误差、准确性较低的问题。

主权项

基于半监督概率潜在语义分析的软件变更日志分类方法，其特征在于，包括如下步骤：A)根据先验知识，划分变更日志类别，并确定每个变更日志类别对应的关键单词，将各个变更日志类别对应的全部关键单词的集合作为单词字典；所述单词字典中每个变更日志类别对应的一个关键单词，是根据先验知识对属于相应变更日志类别的软件变更日志进行词干提取所获得的词干中的一个单词；所述变更日志类别具体划分为三类，即：第1个变更日志类别z₁：修复软件损坏、错误或缺陷所产生的软件变更日志；第2个变更日志类别z₂：新增软件功能或软件特征所产生的软件变更日志；第3个变更日志类别z₃：对软件进行重新编辑或重新构建所产生的软件变更日志；B)获取若干个属于上述三个变更日志类别且所属变更日志类别已知的软件变更日志作为训练样本，所有训练样本的集合作为训练数据库；分别统计训练数据库中属于第k个变更日志类别z_k的训练样本个数n_k，k∈{1,2,...,K}，K为变更日志类别数，即K＝3，并对训练数据库中每个训练样本分别进行词干提取处理，得到每个训练样本的词干中所包含的各个单词；C)建立单词字典中的关键单词、软件变更日志与变更日志类别之间的概率潜在语义分析模型：$P(w_j,d_i)=P\left(d_i\right)\underset{k=1}{\overset{K}{\Sigma }}\left[P\left(z_k\right|d_i)P\left(w_j\right|z_k)\right];$其中，P(w_j|z_k)表示单词字典中第j个关键单词w_j与第k个变更日志类别z_k的概率关系，k∈{1,2,3}；P(z_k|d_i)表示第k个变更日志类别z_k与第i个软件变更日志d_i的概率关系；P(d_i)表示第i个软件变更日志d_i相对于训练数据库的单词数量概率，即n_i表示第i个软件变更日志d_i的词干中所包含的单词数，N_bace表示训练数据库中所有训练样本的词干所包含的单词数量总和；D)构造概率潜在语义分析模型的似然函数L：$L=\underset{i=1}{\overset{M}{\Pi }}\underset{j=1}{\overset{N}{\Pi }}P\left(d_i\right)\underset{k=1}{\overset{K}{\Sigma }}\left[P\left(z_k\right|d_i)P{\left(w_j\right|z_k)}^{n(w_j,d_i)}\right];$其中，i∈{1,2,...,M}，M表示软件变更日志的总数量；j∈{1,2,...,N}，N表示单词字典中关键单词的总数量；n(w_j,d_i)表示单词字典中第j个关键单词w_j在软件变更日志d_i中出现的次数；E)将训练数据库中的每个训练样本分别作为软件变更日志d_i代入到步骤D构造的似然函数L中，采用期望最大化算法，对单词字典中各个关键单词w_j与各个变更日志类别z_k的概率关系以及各个变更日志类别z_k与作为软件变更日志d_i的各个训练样本的概率关系进行求解；将期望最大化算法收敛求解所得的单词字典中各个关键单词w_j与各个变更日志类别z_k的概率关系标记为P_c(w_j|z_k)，将期望最大化算法收敛求解所得的各个变更日志类别z_k与作为软件变更日志d_i的各个训练样本的概率关系标记为P_c(z_k|d_i)，j∈{1,2,...,N}，i∈{1,2,...,M}，k∈{1,2,...,K}；并分别计算每个变更日志类别z_k的样本中心概率关系，其中，第k个变更日志类别z_k的样本中心概率关系为：${\bar{P}}_c\left(z_k\right)=\frac{\underset{i=1}{\overset{M}{\Sigma }}{P}_c\left(z_k|d_i\right)}{M};$此时软件变更日志的总数量M取值为训练数据库中训练样本的总数量；F)获取待确定所属变更日志类别的软件变更日志作为待测样本，所有待测样本的集合作为测试数据库；对测试数据库中每个待测样本分别进行词干提取处理，得到每个待测样本的词干中所包含的各个单词；G)将测试数据库中的每个待测样本分别作为软件变更日志d_i代入到步骤D构造的似然函数L中，采用期望最大化算法，对各个变更日志类别z_k与作为软件变更日志d_i的各个待测样本的概率关系进行求解；H)根据步骤G中求得的各个变更日志类别z_k与各个待测样本的概率关系，以及各个变更日志类别z_k的样本中心概率关系分别计算各个待测样本与各个变更日志类别z_k样本中心概率的相似度Sim(d_x,m,z_k)，从而确定各个待测样本所属的变更日志类别：$X_m=\arg \underset{k}{\max }\left[\mathrm{Sim}(d_{x,m},z_k)\right],k\in \left\{\mathrm{1,2,3}\right\};$其中，X_m表示任意的第m个待测样本d_x，m所属的变更日志类别；相似度Sim(d_x,m,z_k)为：$\mathrm{Sim}(d_{x,m},z_k)=\frac{\underset{k=1}{\overset{K}{\Sigma }}[P_x\left(z_k\right|d_{x,m})·{\bar{P}}_c\left(z_k\right)]}{\sqrt{\underset{k=1}{\overset{K}{\Sigma }}{P}_x}{\left(z_k|d_{x,m}\right)}^2·\underset{k=1}{\overset{K}{\Sigma }}{\bar{P}}_c{\left(z_k\right)}^2};$其中，P_x(z_k|d_x,m)表示步骤G中求得的第k个变更日志类别z_k与第m个待测样本d_x,m的概率关系；由此，根据所确定的各个待测样本所属的变更日志类别，对各个作为待测样本的软件变更日志添加类别标记。