一种软件重复缺陷报告检测的方法

摘要

本发明涉及一种软件重复缺陷报告检测的方法，它包括如下步骤，首先从软件的缺陷报告数据库中提取训练样本集和测试样本集，建立训练样本集的主题模型，然后对测试样本应用主题模型得到文档-主题矩阵，计算测试样本间的主题相似度，提取测试样本的分类信息计算分类信息相似度，将分类信息相似度和主题相似度相乘得到测试样本间的LDA相似度；其次提取测试样本N-gram序列计算N-gram相似度，将N-gram相似度和LDA相似度加权求和得测试样本间的整体相似度，最后如果整体相似度大于等于预设的阀值则认为两个测试样本为重复缺陷报告。本方法极大地提高了检测结果的准确性，尽量避免将重复缺陷报告派给开发人员，节省了人力资源。

主权项

一种软件重复缺陷报告检测的方法，其特征在于具体包括如下步骤：步骤一：从软件的缺陷报告数据库中提取训练样本集M和测试样本集W，训练样本集M＝{m₁,m₂,...m_i...,m_Q},i＝1,2,...,Q,m_i表示训练样本集中第i个训练样本，Q表示测试样本集中训练样本的数量；测试样本集W＝{w₁,w₂,...w_j...,w_P},j＝1,2,...,P，w_j表示测试样本集中第j个测试样本，P表示测试样本集中测试样本的数量，Q＞P；步骤二：利用Mallet工具创建训练样本集M的主题模型；(一)将训练样本集M转化为特征向量集i＝1,2,...,Q，其中表示训练样本m_i对应的训练样本特征向量；(二)预设Mallet工具对应的参数K，K表示训练样本集M的主题数目；(三)根据特征向量集对训练样本集M进行训练，得到训练样本集M的主题模型；步骤三：计算测试样本集W中测试样本间的LDA相似度：(一)计算测试样本集W中测试样本w_j和测试样本w_x的主题相似度，具体如下：i)利用Mallet工具将测试样本集W转化为特征向量集j＝1,2,...,P，其中表示测试样本w_j对应的测试样本特征向量；设测试样本w_x也属于测试样本集W，w_j,w_x∈W,x＝1,2,...,P；并且j≠x，表示测试样本w_x对应的测试样本特征向量；然后应用训练样本集M的主题模型建立测试样本的文档‑主题矩阵D，所述测试样本特征向量对应在文档‑主题矩阵D中第ξ维向量表示为所述向量的值表示为d_j,ξ，所述测试样本特征向量对应在文档‑主题矩阵D中第ξ维向量表示为所述向量的值表示为d_x,ξ；ii)利用公式(1)计算测试样本w_j与w_x的主题相似度：$\mathrm{Sim}(w_j,w_x)=S_{\mathrm{jx}}=\frac{{\Sigma }_{\xi }(d_{j,\xi }*d_{x,\xi })}{\sqrt{{\Sigma }_{\xi }{d}_{j,\xi }^2*d_{x,\xi }^2}}---\left(1\right);$其中，S_jx表示w_j与w_x的主题相似度；(二)计算测试样本集W中测试样本w_j和测试样本w_x的分类信息相似度，具体如下：i)提取测试样本分类信息，并使测试样本的分类信息与相应的测试样本一一对应；ii)所述测试样本w_j对应的分类信息为f_j,τ，测试样本w_x对应的分类信息为f_x,τ，其中τ表示分类信息f_j,τ和f_x,τ的层数，τ＝1,2,...,N；iii)计算测试样本w_j与测试样本w_x之间的分类信息相似度η_jx，设η_jx,τ表示测试样本w_j的分类信息f_j,τ的第τ层与测试样本w_x的分类信息f_x,τ的第τ层的相似度，具体如下；(1)令j＝1；(2)令x＝j+1；(3)令τ＝1；(4)判断f_j,τ的第τ层与f_x,τ的第τ层是否相同，如果相同执行步骤(5)，如果不同执行步骤(7)；(5)将f_j,τ与f_x,τ之间的第τ层相似度η_jx,τ设为a_τ；(6)如果τ＝N，则令η_jx＝η_jx,τ，并执行步骤(9)，否则执行步骤(8)；(7)令η_jx＝E，E为经验值，并执行步骤(9)；(8)令τ＝τ+1，并执行步骤(4)；(9)令x＝x+1，如果x＝P则执行步骤(10)，否则执行步骤(2)；(10)令j＝j+1，如果j＜P，则执行步骤(2)，否则执行步骤(11)；(11)保存分类信息相似度η_jx；(三)根据公式(2)计算所述测试样本集W中测试样本间的LDA相似度θ_jx：θ_jx＝S_jx·η_jx   (2)；步骤四：计算测试样本集W中测试样本间N‑gram相似度：(一)提取测试样本集W中的测试样本w_j的N‑gram序列Y_j和测试样本w_x的N‑gram序列Y_x，其中Y_j＝{y_1,1,y_2,2,...y_j,δ...,y_P,A},y_j,δ表示测试样本w_j的N‑gram序列Y_j中第δ个词，A表示测试样本w_j的N‑gram序列Y_j的总词数，Y_x＝{y_1,1,y_2,2,...y_x,ε...,y_P,B},y_x,ε表示测试样本w_x的N‑gram序列Y_x中第ε个词，B表示表示测试样本w_x的N‑gram序列Y_x的总词数；(二)计算测试样本集W中测试样本w_j和测试样本w_x的N‑gram相似度具体如下：一)设测试样本w_j的N‑gram序列Y_j为匹配序列，测试样本w_x的N‑gram序列Y_x为被匹配序列；(1)令j＝1；(2)令x＝j+1；(3)令ε＝1，δ＝1；(4)如果y_j,δ与y_x,ε相同，则令α_δ,ε＝1，并执行步骤(5)，并保存α_δ,ε的值，否则执行步骤(7)；(5)令δ＝δ+1；(6)如果δ≤A，则执行步骤(4)，否则执行步骤(9)；(7)令α_δ,ε＝0，并ε＝ε+1；(8)如果ε≤B，则执行步骤(4)，否则执行步骤(9)；(9)保存α_δ,ε的值:二)利用公式(3)统计y_j,δ与y_x,ε比较时α_δ,ε值的集合：$\alpha =\underset{\delta =1,ϵ=1}{\overset{\delta =A,ϵ=B}{\Sigma }}{\alpha }_{\mathrm{\delta ϵ}}---\left(3\right);$三)设测试样本w_x的N‑gram序列Y_x为匹配序列，测试样本w_j的N‑gram序列Y_j为被匹配序列：(1)令x＝1；(2)令j＝x+1；(3)令ε＝1，δ＝1；(4)如果y_x,ε与y_j,δ相同，则令α_ε,δ＝1，并执行步骤(5)，并保存α_ε,δ的值，否则执行步骤(7)；(5)令ε＝ε+1；(6)如果ε≤B，则执行步骤(4)，否则执行步骤(9)；(7)令α_ε,δ＝0，并δ＝δ+1；(8)如果δ≤A，则执行步骤(4)，否则执行步骤(9)；(9)保存α_ε,δ的值；四)利用公式(4)统计y_x,ε与y_j,δ比较时α_ε,δ值的集合：$\beta =\underset{\delta =1,ϵ=1}{\overset{\delta =A,ϵ=B}{\Sigma }}{\alpha }_{ϵ,\delta }---\left(4\right)$五)然后根据公式(5)计算测试样本w_j与测试样本w_x的N‑gram相似度步骤五：通过公式(6)计算测试样本集W中测试样本w_j和测试样本w_x之间整体相似度：其中v，r分别表示加权求和时引入的参数，为经验值；步骤六：将测试样本w_j和测试样本w_x之间整体相似度T_jx与相似度阀值F相比，如果T_jx≥F，则认为测试样本w_j和测试样本w_x为重复的缺陷报告并对该一对测试样本分配一个ID，然后输出所述ID；否则为不同的缺陷报告。