一种工作量感知的bug定位技术有效性评价方法

摘要

本发明提供一种工作量感知的bug定位技术有效性评价方法，包括下列步骤：1)软件bug报告信息的收集；2)源代码文件工作量的收集；3)源代码文件序列的生成；4)评价指标的计算；5)bug定位技术的分析与评价。本发明解决了目前存在的bug定位技术有效性评价方法中没有考虑开发人员审查工作量的问题，更能体现一个bug定位技术在使用过程中是否可以减轻开发人员的工作量，是否具有实用价值，从而使得评价结果更加全面和可信。

主权项

一种工作量感知的bug定位技术有效性评价方法，其特征在于，利用从软件bug追踪系统中提取的已被修复的bug报告的信息，以及从软件版本控制系统中提取的源代码文件的工作量信息，结合bug定位技术的定位结果，为bug定位技术计算工作量感知的评价指标，帮助研究人员判断一个bug定位技术在工作量感知的条件下是否具有实用价值；该方法包括下列步骤：1)软件bug报告信息的采集，从软件缺陷追踪系统中，收集已被修复的bug报告的信息，包括摘要、描述、bug报告提交和修复的时间、修复bug报告的那次源代码提交的标识符和所修改的源代码文件名等信息；定义1：源代码提交是版本控制系统中开发人员提交代码修改所记录的历史信息，包含提交标识符、提交日期、开发人员以及受影响文件等信息；2)源代码文件工作量的收集，根据步骤1)中收集的bug报告的信息，从版本控制系统中获取bug报告被修复前的代码快照，并提取出代码快照中所有源代码文件的文件名及源代码行数信息；定义1：代码快照是在某一时刻代码仓库的状态，包括代码仓库中包含哪些源代码文件及源代码文件的内容等信息；3)源代码文件序列的生成，对一个需要评价的bug定位技术，利用其为步骤2)中得到的每一个bug报告生成相应的源代码文件序列；定义1：源代码文件序列是与bug报告相应的代码快照中源代码文件的排序；利用bug定位技术为代码快照中的每个源代码文件计算其与bug报告的相似值，再根据相似值将源代码文件降序排序；同时，每个源代码文件会被打上一个标签，表示这个源代码文件是否与bug报告相关；定义2：源代码文件与bug报告相关是指源代码文件被修改以修复bug报告中所描述的bug；4)评价指标的计算，根据步骤3)得到的bug报告的源代码文件序列，为bug定位技术分别计算MLE、MAEP、MFEP、MLEP和EffortPrecision@k等评价指标；定义1：末位平均工作量(Mean Last Effort，MLE)是bug定位技术找到最后一个相关的代码文件平均所需要的工作量；值越小，表示在工作量感知下bug定位技术性能越好，计算公式如下：$MLE=\frac{1}{\left|S\right|}{\Sigma }_{j=1}^n{\Sigma }_{i=1}^{q_j}LOC\left(f_{ij}\right)$式中MLE为末位平均工作量，n为在评价过程中用到的所有bug报告的数目，|S|代表在源代码文件序列中能找到出错代码文件的bug报告的个数(|S|≤n)，q_j是第j个bug报告所对应的源代码文件序列中最后一个相关文件所在的位置，LOC(f_ij)为第j个报告所对应的源代码文件序列中第i个文件的代码量；定义2：平均工作量精度均值(Mean Average Effort Precision，MAEP)是与最优排序相比bug定位技术达到相同召回率时的相对工作量；值越大，表示在工作量感知下bug定位技术性能越好；令r_j代表第j个bug报告，假定：R_j＝{f|f与r_j相关}，即R_j是由r_j相关的文件构成的集合；计算公式如下：$MAEP=\frac{1}{n}{\Sigma }_{j=1}^n{\mathrm{AvgEP}}_j$${\mathrm{AvgEP}}_j=\frac{1}{\left|P_j\right|}\underset{p\in P_j}{\Sigma }\left\{Effort\mathrm{Pr}ecision(j,p)\right\}$$EffortPrecision(j,p)=\frac{{\mathrm{ce}}_j\left[k\right]}{{\Sigma }_{i=1}^{p}LOC\left(f_{ij}\right)}$$k=\underset{x=1}{\overset{p}{\Sigma }}Is\mathrm{Re}levant\left(x\right)$式中MAEP为与最优排序相比达到相同召回率时的相对工作量；AvgEP_j为平均工作量精度，用来描述第j个bug报告的定位有效性；EffortPrecision(j，p)表示第j个bug报告对应的源代码文件序列中的第p个位置处的工作量精度；ce是一个数组，表示R_j按照代码行从小到大排序后得到的“最优序列”(即代码行小的相关文件排在前面)中累积的代码行；P_j为在给定的待评估排序中与r_j真实相关的文件位置集合；对IsRelevant(p)为1代表位置p处为相关文件、为0表示不相关文件；定义3：首位工作量精度均值(Mean First Effort Precision，MFEP)是bug定位技术找到第一个相关源代码文件所需花费的平均工作量；值越大，表示在工作量感知下bug定位技术性能越好，计算公式如下：$MFEP=\frac{1}{n}{\Sigma }_{j=1}^n\frac{{\mathrm{ce}}_j\left[1\right]}{{\Sigma }_{i=1}^{q_j}LOC\left(f_{ij}\right)}$式中，MFEP为找到第一个相关源代码文件所需花费的平均工作量，ce_j[1]即为第j个bug报告关联的最小的文件代码行数，q_j是第j个bug报告所对应的源代码文件序列中第一个相关文件所在的位置；定义4：末位工作量精度均值(Mean Last Effort Precision，MLEP)是bug定位技术为找到最后一个相关源代码文件所需花费的平均工作量；值越大，表示在工作量感知下bug定位技术性能越好，计算公式如下：$MLEP=\frac{1}{n}{\Sigma }_{j=1}^n\frac{{\mathrm{ce}}_j\left[\right|R_j\left|\right]}{{\Sigma }_{i=1}^{q_j}LOC\left(f_{ij}\right)}$式中，n表示总共有n个bug报告，|R_j|表示第j个bug报告总共有|R_j|个关联的文件，ce_j[|R_j|]表示第j个bug报告关联的所有文件的代码行数的总和，q_j是第j个bug报告所对应的源代码文件序列中最后一个相关文件所在的位置；定义5：top‑k工作量精度(EffortPrecision@k)是bug定位技术在推荐前k个代码文件时的工作量精度；值越大，表示在工作量感知下bug定位技术性能越好，计算公式如下：$EffortPrecisionk=\frac{1}{n}\underset{j=1}{\overset{n}{\Sigma }}\frac{{\mathrm{ce}}_j\left[j_k\right]}{{\Sigma }_{i=1}^{k}LOC\left(f_{ij}\right)}$$j_k={\Sigma }_{i=1}^{k}Is\mathrm{Re}levant\left(f_{ij}\right)$式中，EffortPrecision@k为推荐前k个代码文件时的工作量精度，j_k表示对第j个bug报告从top‑k个文件中总共找出j_k个相关的源代码文件；5)Bug定位技术的分析与评价：研究人员为需要对比的bug定位技术分别计算相应的MLE、MAEP、MFEP、MLEP和EffortPrecision@k值，并对它们的结果进行比对分析，以判断各方法的定位效果是否存在明显差异。