用于评价软件测试质量和开发能力的管理系统实现方法

摘要

用于评价软件测试质量和开发能力的管理系统实现方法，涉及软件测试管理领域。本发明由数据采集系统、算法管理系统、预算管理系统、报告管理系统组成。通过对软件测试计划和测试数据的采集，使用特定的算法，对软件测试环节的质量和预算进行评估。本发明将数据采集环节、算法配置环节、预算配置环节、报告生成环节相互独立，可以针对不同的软件测试项目配置不同的算法和预算管理，可以与现有技术的所有测试工具配合使用，针对软件工业化生产企业和领域提供持续改善应用软件开发和测试质量的工具，具有安全可靠，快速推广，维护简便的特点。

主权项

1. 用于评价软件测试质量和开发能力的管理系统实现方法由数据采集系统、算法管理系统、预算管理系统、报告管理系统组成；数据采集系统由测试计划适配器、需求采集器、测试用例采集器、用例执行数据采集器、成品缺陷采集器组成；算法管理系统由算法基本元素定义器、算法公式生成器、算法表生成器组成；预算管理系统由测试预算采集器、测试预算分配器、预算阀值定义器、告警生成器组成；报告管理系统由报表内容定义器、个人工作质量评估器、项目组工作质量评估器组成，其主要步骤为：1)       数据采集①由数据采集系统的测试计划适配器，采集测试计划并将测试计划分解成项目名称、项目预算、需求编写负责人、需求分解负责人、测试用例编写人、测试执行人、测试项目经理并存储到本地数据库，采集的方法包括从第三方测试工具导入和人工录入，其中项目预算包含人力成本、设备成本、环境成本、浮动预算成本、项目工期；②由数据采集系统的需求采集器，采集软件开发文档中的需求书并存储到本地数据库，并将需求书与需求编写负责人对应，采集的方法包括从第三方测试工具导入和人工录入；③由数据采集系统的需求采集器，采集分解的需求并存储到本地数据库，并将分解的需求与需求分解负责人对应，采集的方法包括从第三方测试工具导入和人工录入，根据项目规模差异需求分解负责人可以是多个不同的自然人，用需求分解负责人1到需求分解负责人M表示，根据项目的复杂度差异，同一个需求分解负责人对应多个分解的需求，用分解的需求1到分解的需求N表示； ④由数据采集系统的测试用例采集器，采集测试用例并存储到本地数据库，并将测试用例与测试用例编写人对应，由于一个分解的需求只能对应一个测试用例编写人，因此测试用例采集器直接将测试用例通过测试用例编写人与分解的需求相对应，采集的方法包括从第三方测试工具导入和人工录入，一个分解的需求对应一个测试用例编写人对应多个测试用例，用测试用例1到测试用例K表示；⑤由数据采集系统的用例执行数据采集器，采集用例执行数据并存储到本地数据库，并将用例执行数据分解成用例执行次数、用例通过次数、缺陷报告、缺陷等级，采集的方法包括从第三方测试工具导入和人工录入，用例执行人对应测试用例，测试用例对应用例执行次数、用例通过次数、缺陷报告、缺陷等级，并将缺陷报告与测试执行人对应，用例执行人与测试用例逐一对应，用例执行人1到用例执行人K根据测试计划分工可以是多个不同的自然人也可以是同一个自然人；  ⑥由数据采集系统的成品缺陷采集器，采集成品缺陷并存储到本地数据库，并将成品缺陷分解成成品缺陷报告和成品缺陷等级，采集的方法包括从第三方测试工具导入和人工录入，成品缺陷的概念是软件已经部署到生产环境后发现的软件缺陷；2)       算法管理 ①由算法管理系统的算法基本元素定义器，定义完成开发质量评估、需求编写质量评估、需求分解质量评估、用例编写质量评估、测试执行质量评估所需要的基本计算元素，算法基本元素定义器默认的算法基本元素定义如下所示；用于测试执行质量评估所需要的算法基本元素包括成品缺陷报告、测试用例、成品缺陷等级、缺陷报告、用例要求执行次数、用例执行次数、用例通过次数，其中用例要求执行次数由测试项目经理在算法基本元素定义器进行手工输入，作为对测试执行工作的统一要求，算法基本元素定义器根据缺陷报告统计每个测试执行人的缺陷报告次数；用于用例编写质量评估所需要的算法基本元素包括成品缺陷报告、成品缺陷等级、分解的需求、测试用例，算法基本元素定义器根据测试用例统计每个测试用例编写人编写的测试用例数；用于需求分解质量评估所需要的算法基本元素包括成品缺陷报告、成品缺陷等级、测试用例、分解的需求、需求书，算法基本元素定义器根据分解的需求统计每个需求分解负责人编写的分解的需求数；用于需求编写质量评估所需要的算法基本元素包括成品缺陷报告、成品缺陷等级、测试用例、分解的需求、需求书，算法基本元素定义器根据需求书自动统计需求书功能点数量，需求书作为开发和测试应用软件的基本文档，编写规范中明确要求以独立章节说明每一个功能点，因此计算机程序可以很容易统计出需求书功能点数量；用于开发质量评估所需要的算法基本元素包括成品缺陷报告、成品缺陷等级、缺陷报告、缺陷等级、需求书，算法基本元素定义器根据缺陷报告统计相同缺陷报告次数； ②由算法管理系统的算法公式生成器，定义完成开发质量评估、需求编写质量评估、需求分解质量评估、用例编写质量评估、测试执行质量评估所需要的算法公式，算法公式生成器默认的算法公式如下所示； 用于测试执行质量评估所需要的算法公式步骤为：i.定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；.ii.计算个体测试执行人的测试执行工作量采用如下公式1：iii.当Q等于0时，计算个体测试执行人的测试执行质量评估值采用如下所示公式2，测试执行质量评估值是测试执行人违规和出错的次数，数值越大说明测试执行质量越差：iii.当Q等于1时，计算个体测试执行人的测试执行质量评估值采用如下所示公式3，测试执行质量评估值是测试执行人违规和出错的次数，数值越大说明测试执行质量越差：用于用例编写质量评估所需要的算法公式步骤为：i.定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；ii.定义包含系数R，成品缺陷报告与分解的需求进行关键字比较，当成品缺陷报告中的关键字包含在分解的需求中则R等于1，当成品缺陷报告中的关键字不包含在分解的需求中则R等于0； iii.计算个体测试用例编写人的工作量采用如下所示公式4：iv.当Q等于1时，计算个体测试用例编写人的用例编写质量评估值采用如下所示公式5，用例编写质量评估值是用例编写人违规和出错的次数，数值越大说明测试用例编写人编写测试用例的用例编写质量越差，公式5中当n等于0时用例编写质量评估值初值设定为0： v.当Q等于0时，R等于0时，计算个体测试用例编写人的用例编写质量评估值采用上述公式5；vi．当Q等于0时，R等于1时，计算个体测试用例编写人的用例编写质量评估值采用如下所示公式6： 用于需求分解质量评估所需要的算法公式步骤为：i. 定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；ii.定义包含系数R，成品缺陷报告与分解的需求进行关键字比较，当成品缺陷报告中的关键字包含在分解的需求中则R等于1，当成品缺陷报告中的关键字不包含在分解的需求中则R等于0； iii.定义包含系数S，成品缺陷报告与需求书进行关键字比较，当成品缺陷报告中的关键字包含在需求书中则S等于1，当成品缺陷报告中的关键字不包含在需求书中则S等于0；iv.计算个体需求分解负责人的工作量采用如下公式7：iv.当Q等于1时，计算个体需求分解负责人的需求分解质量评估值采用如下公式8，需求分解质量评估值是需求分解负责人违规和出错的次数，数值越大说明需求分解负责人编写“分解的需求”的需求分解质量越差，公式8中当n等于0时需求分解质量评估值初值设定为0： v.当Q等于0，R等于1时，计算个体需求分解负责人的需求分解质量评估值采用上述公式8；vi.当Q等于0，R等于0，S等于0时，计算个体需求分解负责人的需求分解质量评估值采用上述公式8；vii当Q等于0，R等于0，S等于1时，计算个体需求分解负责人的需求分解质量评估值采用如下公式9： 用于需求编写质量评估所需要的算法公式步骤为：i. 定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；ii.定义包含系数R，成品缺陷报告与分解的需求进行关键字比较，当成品缺陷报告中的关键字包含在分解的需求中则R等于1，当成品缺陷报告中的关键字不包含在分解的需求中则R等于0； iii.定义包含系数S，成品缺陷报告与需求书进行关键字比较，当成品缺陷报告中的关键字包含在需求书中则S等于1，当成品缺陷报告中的关键字不包含在需求书中则S等于0；iv.计算个体需求编写负责人的工作量采用如下公式10：v.当Q等于1时，计算个体需求编写负责人的需求编写质量评估值采用如下公式11，需求编写质量评估值是需求编写负责人违规和出错的次数，数值越大说明需求编写负责人编写需求书的需求编写质量越差，公式11中当n等于0时需求编写质量评估值初值设定为0： vi.当Q等于0，R等于1时，计算个体需求编写负责人的需求编写质量评估值采用上述公式11；vii.当Q等于0，R等于0，S等于1时，计算个体需求编写负责人的需求编写质量评估值采用上述公式11；viii.当Q等于0，R等于0，S等于0时，计算个体需求编写负责人的需求编写质量评估值采用如下公式12：用于开发质量评估所需要的算法公式步骤为：i.定义包含系数S，成品缺陷报告与需求书进行关键字比较，当成品缺陷报告中的关键字包含在需求书中则S等于1，当成品缺陷报告中的关键字不包含在需求书中则S等于0；ii.当S等于0时，计算软件开发商开发质量评估值采用如下公式13，开发质量评估值是软件开发商开发软件所产生的缺陷和缺陷等级的总计值，数值越大表示软件开发商的软件开发能力越差：iii.当S等于1时，计算软件开发商开发质量评估值采用如下公式14：③由算法管理系统的算法表生成器读取数据采集系统中测试计划适配器存储的项目名称及项目名称对应的需求编写负责人、需求分解负责人、测试用例编写人、测试执行人、测试项目经理；由算法表生成器读取算法公式生成器中的公式，包括公式1到公式14，生成算法表生成器默认公式集，测试项目经理有权限在算法表生成器默认公式集的基础上进行变更生成用户自定义公式集；测试项目经理有权限在算法表生成器为自己管理的测试项目指定相应的公式集，公式集包含用来计算测试执行工作量、测试执行质量评估值、用例编写工作量、用例编写质量评估值、需求分解工作量、需求分解质量评估值、需求编写工作量、需求编写质量评估值、开发质量评估值的整套公式，算法表生成器最终完成项目名称、需求编写负责人、需求分解负责人、测试用例编写人、测试执行人、测试项目经理与算法表生成器默认公式集的对应关系，从而生成算法表；3)       预算管理①由预算管理系统的测试预算采集器，读取数据采集系统的测试计划适配器所存储的项目预算，，其中项目预算包含人力成本、设备成本、环境成本、浮动预算成本、项目工期；②由预算管理系统的测试预算分配器将项目预算分配到天，分配项目预算的公式采用如下公式15，分配到天的项目预算定名为每天计划内测试预算；③由预算管理系统的预算阀值定义器完成预算阀值的定义，方法是由测试项目经理输入每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值允许的范围，预算阀值包括黄色告警预算阀值和红色告警预算阀值，预算阀值定义器默认的黄色告警预算阀值为30%，预算阀值定义器默认的红色告警预算阀值为50%，预算阀值定义器计算每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值采用如下公式16；④由预算管理系统的告警生成器读取每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值，当偏离值达到黄色告警预算阀值，告警生成器将项目在系统内做黄色告警标记，并通过外接邮件服务器和短信网关向测试项目经理发送成本超出预算30%的黄色告警信件和短信；当偏离值达到红色告警预算阀值，告警生成器将项目在系统内做红色告警标记，并通过外接邮件服务器和短信网关向测试项目经理发送成本超出预算50%的红色告警信件和短信； 4)       报告管理①由报告管理系统的报表内容定义器定义不同系统使用者根据不同角色所能够查询的报表内容，角色分为需求编写负责人、需求分解负责人、测试用例编写人、测试执行人、测试项目经理；能够选择的报表内容包括测试执行工作量、测试执行质量评估值、用例编写工作量、用例编写质量评估值、需求分解工作量、需求分解质量评估值、需求编写工作量、需求编写质量评估值、开发质量评估值；报表内容定义器默认的角色和可查询的报表对应关系为，需求编写负责人可以查看需求编写工作量、需求编写质量评估值，需求分解负责人可以查看需求分解工作量、需求分解质量评估值，测试用例编写人可以查看用例编写工作量、用例编写质量评估值，测试执行人可以查看测试执行工作量、测试执行质量评估值，测试项目经理可以查看测试执行工作量、测试执行质量评估值、用例编写工作量、用例编写质量评估值、需求分解工作量、需求分解质量评估值、需求编写工作量、需求编写质量评估值、开发质量评估值；②由报告管理系统的个人工作质量评估器对每个测试执行人的测试执行质量评估值进行排序，由报告管理系统的个人工作质量评估器对每个测试用例编写人的用例编写质量评估值进行排序，由报告管理系统的个人工作质量评估器对每个需求分解负责人的需求分解质量评估值进行排序，由报告管理系统的个人工作质量评估器对每个需求编写负责人的需求编写质量评估值进行排序；排序的目的是督促整个测试团队不断改进工作质量，方便管理者对工作水平最差的人员给予及时的培训或者调整工作岗位，方便管理者对工作水平最好的人员给予奖励；③由报告管理系统的项目组工作质量评估器对每个项目组所有的测试执行人的测试执行质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统的项目组工作质量评估器对每个项目组所有的测试用例编写人的用例编写质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统的项目组工作质量评估器对每个项目组所有的需求分解负责人的需求分解质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统的项目组工作质量评估器对每个项目组所有的需求编写负责人的需求编写质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统的项目组工作质量评估器对每个项目组对应的开发商的开发质量评估值进行排序；排序的目的是督促测试项目组之间的评比，方便管理者对工作质量好的项目组给予奖励，对工作质量差的项目组进行调整； ④由报告管理系统的项目组工作质量评估器对每个项目组每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值进行排序，方便管理者对测试预算管理好的项目组给予奖励，对测试预算管理差的项目组给予培训或者调整。