技术应用丨测试为“矛”,质量为“盾”,指标为“灯”,构建创新引领的数字化质量测试体系

B站影视 2025-01-02 16:25 2

摘要:在中共中央、国务院印发的《质量强国建设纲要》中提到,“建设质量强国是推动高质量发展、促进我国经济由大向强转变的重要举措”。重庆银行积极响应国家质量强国战略,致力于推进金融科技数字化转型高质量发展。从2022年至2024年,重庆银行持续优化其质量测试体系,已发展

文 / 重庆银行科技部 张慈湑 何颖 陈卓

在中共中央、国务院印发的《质量强国建设纲要》中提到,“建设质量强国是推动高质量发展、促进我国经济由大向强转变的重要举措”。重庆银行积极响应国家质量强国战略,致力于推进金融科技数字化转型高质量发展。从2022年至2024年,重庆银行持续优化其质量测试体系,已发展至以预防思维、风险控制和持续改进为核心的全面质量管理体系(见图),成为全国首家获得TMMi 5级认证的城市商业银行。该体系秉承预防、风险控制和持续改进的理念,以TMMi 5级模型为基石,融合了行业先进的质量控制的方法论和技术。在技术实现上,运用Scikit-learn的机器学习算法,并结合统计学方法和软件可靠性工程相关理论,借助工具平台,以确保实践的高效落地和质量的精准把控。同时,以IDEAL组织改进模型为核心,该体系还整合了TMM、CMMI、Gelperin&Hetzel过程演进模型、IEEE829、ISO9126、ISTQB等国际标准体系的精华。

图 数字化质量测试体系

测试在高质量发展中扮演着至关重要的角色,是推动技术创新的“矛”,结合机器学习算法与数据统计方法进行技术创新与工具开发,推动测试技术突破。

1.基于机器学习算法的测试执行周期预测。为提高对测试执行周期评估的准确率,进一步带动测试效率的提升,重庆银行积极探索并实践利用机器学习算法实现测试周期预测。通过原始数据积累,并对测试业务进行因子分析,确认预测测试执行天数的相关影响因子。同时使用相同训练数据在线性回归(Linear Regression)、支持向量机(SVM)、随机森林(Random Forest)、神经网络(MLP多层感知机)4种回归分析算法上各自生成模型,对比不同模型的拟合值和实际值的差异,并使用决定系数R^2评价各个模型的解释能力,最终采用了R^2=0.76的MLP神经网络模型作为核心算法模型。项目实践过程中,根据预测执行天数制定测试时间计划,所有项目都成功在预定的预测范围内执行完成,且部分项目还提前达成目标。例如,某需求预测执行天数39.84天,90%置信区间预测天数上限为45.03天,下限为34.64天,实际执行天数38天。该方法的运用不仅提供了测试执行时间客观估算,还建立了执行天数的目标感,提高了工作效率。

2.基于Rayleigh模型的质量控制图。应用Rayleigh可靠性模型预测每日发现缺陷数,并创新地与统计方法结合,绘制出每日发现缺陷数预测与90%置信区间控制图,以质量数据分析工具为载体监控项目过程质量情况。利用Rayleigh控制图与实际过程相对比,并就典型异常情况进行原因分析:一是开发提测质量不佳,二是后期需求变更,三是特殊情况测试采用了非常规测试策略。该技术落地实践中,可以帮助开发测试团队在项目实施过程中精准发现异常情况,评价过程质量,一方面推动开发质量提升,一方面可以帮助测试团队在测试过程中及时调整测试策略,报告风险,分析并提出改进建议,进一步推动质量的提升。

3.基于Musa可靠性模型的统计执行测试。通过基于Musa可靠性模型,并利用开发操作配置文件(可靠性工程中也称操作剖面)自动化生成测试用例,测试执行过程中以MTTF(Mean Time To Failure,平均失效间隔时间)作为可靠性量化指标,来评价软件可靠性质量。这种测试策略引导测试人员基于实际使用场景、操作流程和数据分布来自动生成测试用例,从而有效地预防了只覆盖功能点而忽略真实使用场景的测试盲点。另外,利用操作剖面里填写的测试数据概率分布随机生成测试数据,避免使用同一数据对缺陷检出产生递减效应,从而有效避免测试杀虫剂效应。同时,使用该模型,还能结合测试人力投入情况和时间期限要求自定义测试用例数量,实现最大限度自动覆盖高频交易和数据。在维持低测试成本的情况下,实现MTTF(平均失效间隔时间)最大化,从而最大限度降低该模块上线后触发生产缺陷的风险。

质量是企业战略发展的基石,通过确保规范落地,深入分析问题根源并采取有效改进措施,促进了研发体系的高质量发展。

1.融合全面质量管理(TQM)和统计过程控制(SPC)的质量分析。在项目管理实践中,采用精细化质量监控方法,通过横向分析月报数据来识别关键指标的异常波动。这一过程融合了全面质量管理(TQM)和统计过程控制(SPC)理论,深入分析了指标异常波动原因,通过组织质量分析会议,确保相关开发人员能够理解这些异常及其原因,并采取相应的改进措施。这种方法不仅提高了问题识别的准确性,还为项目质量的持续提升提供了坚实的数据基础。开展运行以来:手机银行系统(个人)项目的缺陷重新打开率指标3.63%,较开展质量分析活动前降低3.58%;SIT缺陷修复超期占比指标0.65%,降低1.08%;存档缺陷解决率指标达到98.81%,提高13.1%。

2.基于PDCA循环和5Why分析法的缺陷预防。预防思维强调从事后控制转向事中控制和事前控制。重庆银行在软件研发过程中,采用PDCA循环结合5Why分析法来实施缺陷预防。首先,设定明确的缺陷预防目标(Plan),然后通过5Why分析法探究缺陷的根本原因(Do),以确保问题被彻底理解。接下来,选择主要根因并制定纠正措施(Check),小范围内试点这些措施,并收集数据以评估效果。最后,根据试点结果采取行动(Act),将方法进行标准化,并为未解决的问题启动新的PDCA循环。这种方法有助于实现缺陷的事前控制,提升软件质量。实际落地过程中,分析7月手机银行系统(个人)项目中87个缺陷,分析出15种根因,其中4种根因(逻辑设计问题、交互设计问题、需求理解问题、开发需求遗漏问题)占比70%,针对占比高缺陷根因执行纠正措施,加强设计执行检查与编码完成后检查,确保占比高问题尽量少发生。

通过指标基线和基于控制图的指标分析,确保了精准的质量控制,并以数据驱动持续改进,达到组织自改进的正向循环,照亮质量与效率提升之路。

1.创建统计分析指标基线。基于统计学方法将历史数据作为源头,生成指标平均数、标准差、25%的数据值、中位数、75%的数据值、最大值、最小值、90%的置信区间、LCL(Lower Control Limit,下控制限)和UCL(Upper Control Limit,上控制限),落地至质量数据分析工具。在实践中,各项目导入本项目相关指标自动生成指标基线数据,建立了项目关键指标的基线,便于项目数据与组织基线做对比。这种以数据驱动的方法能够揭示潜在的问题和风险,为测试和质量保证提供科学的决策支持,确保软件产品的质量持续符合预期的标准。

2.基于控制图的指标分析。在质量控制领域,基于控制图的指标分析是一种强有力的工具,它遵循国家标准GB/T 17989-2020中的相关定义与要求。采用控制图监控项目缺陷率,识别并消除非随机因素引起的数据异常波动,以预防潜在风险。选取缺陷率作为监控指标,利用基于控制图的8种异常模式作为模型,对最近一个月的数据进行分析识别,将符合8种异常模式的数据进行标红。对于标记的异常数据,测试团队分析根本原因,并提出改进质量的合理化建议。基于控制图的8种异常模式的智能识别,提升了数据分析的准确性,也为质量改进提供了有效的数据支撑,从而提高软件的可靠性和稳定性。

展望未来,我们期望通过技术演进,将质量测试一体化、体系化逐步平台化、数字化,并最终实现智能化。这一转型依赖持续的技术进步与创新,尤其是人工智能和大语言模型(LLM)的融合。在测试体系方面,将实现高度智能化测试的设计、执行、监督,以及出具报告;在质量体系方面,目标是实现从测试到研发的全项目覆盖,确保质量控制与改进贯穿整个产品生命周期;在指标体系方面,将实现指标基线的自动生成与分析,以及项目研发全生命周期的过程指标告警,以数据驱动质量测试一体化体系的持续优化。

来源:金融电子化

相关推荐