关于版本质量的思考V1.0

本书作者:测试开发刚哥,文章版权归个人所有,未经授权请勿转载。 这个版本质量好不好? 每次遇到这种问题,都很难给出让人满意的答案。 本文梳理下当前我对版本质量的思考,未来会不断迭代更新我的认知。 软件产品质量模型,描述了8个特性:功能适用性、性能效率、兼容性、可用性、可靠性、安全性、可维护性、可移植性。这个模型可以从全局视角,对软件产品质量进行评估。 总不能每次发完版,就套用这个模型来给产品质量打个分吧。 更现实的做法是,定义量化指标多维度进行评估。 指标库是个庞大和复杂的体系,涵盖了项目、产品、需求、开发、测试、质量等多个方面的关键性能指标(Key Performance Indicators,简称KPIs)。 这里只罗列版本质量相关的指标: 线上问题数量及问题级别:系统发布触发用户问题。质量好不好,必然要看问题多不多,影响大不大。 需求缺陷密度:需求缺陷数 / 完成需求数。缺陷少,质量高。想必我们都体验过测出来一堆问题,上线后还是一堆问题的烂质量。 缺陷关闭率:已关闭缺陷数 / 有效缺陷总数。要想提高质量,就要解决问题。曾经历过遗留30个bug不处理就上线的,初创团队抢占市场可以理解,稳定产品的缺陷关闭率低就需要引起重视了。 缺陷关闭时长:所有缺陷(关闭时间 - 创建时间)求和 / 有效缺陷总数。长时间、跨版本都没有解决的问题,一拖再拖,说不定哪天就在线上暴雷了。所有问题都要及时关注,尽快修复。 缺陷逃逸率:上线后发现缺陷数 / 有效缺陷总数。测试同学注意了,灵魂三问,没有测过吗?为什么没测到?为什么不知道?遇到过测试马虎了事的,测试不给力,保不住质量下限。 除了怎么衡量版本质量以外,还有个问题是怎么交付出高质量产品,是让开发少写点bug,还是让测试多找点bug? 有个很有意思的说法是,高质量产品是用出来的。这个认知没有局限于开发、测试谁背锅的责任归属,而是从产品迭代的角度出发,更多的功能,更多的缺陷,就会投入更多的努力去修复这些质量问题,从而提高产品质量。 让更多客户使用,发现更多问题,持续完善产品,才能打磨出高质量产品。

大模型时代,测试工作会有什么变化

本书作者:测试开发刚哥,文章版权归个人所有,未经授权请勿转载。 “ChatGPT是倾盆大雨前的第一场雨”,OpenAI首席科学家Ilya Sutskever。 大模型是指在人工智能领域,尤其是机器学习和深度学习中,具有大量参数和复杂结构的模型。 大模型通过在大量数据上进行预训练,然后针对特定任务进行微调,最终部署到应用中以执行复杂任务。 最近百度推出的“萝卜快跑”打车(Robotaxi),就是大模型应用之一。收集大量驾驶数据,包括视频、图像、雷达、车辆传感器等数据,对数据进行标注、归一化和增强等预处理。然后对大模型进行预训练,学习道路环境、交通规则、物体识别等。根据自动驾驶需求,对模型进行微调,保持车道、避让障碍物、识别交通标识等。将训练好的模型集成到自动驾驶系统中,在模拟环境和封闭场地进行测试。经过充分的模拟和实车测试后,部署到出租车上,实现无人驾驶。 未来世界,到底是个什么样的世界啊。 截止2024年初,已有诞生了近百个参数规模大于100亿的模型,在图像语言、推荐系统、医疗诊断、办公软件等各行各业,掀起了滔天巨浪,甚至有人感叹第四次工业革命是不是就要到来。 从个人体验来说,日常工作中使用ChatGPT时间已经远远超过了搜索引擎。测试工作虽然没有颠覆式改变,但可以预见未来会有不少变化。 以下纯属我的猜想。 功能用例。AI可以根据需求文档分析出功能用例。只要针对垂直业务进行大量训练,一个既懂业务,又懂测试用例设计的机器人,是很可能出现的。 自动化用例。AI可以自动生成,自动执行,自动断言,自动完成自动化测试。流量录制回放已经替代了部分回归测试工作,有AI能力加持,很难不去想象,未来是不是会出现“无人回归测试”。 代码评审。AI可以分析增量代码,计算出影响范围,给出改动点、影响点和测试点。ChatGPT已经很懂代码了,再结合精准测试分析,这项技术会愈加成熟。 测试数据。AI可以生成各种各样的测试数据。文件数据、内存动态数据、数据库存储数据,想要什么给你什么。 测试工具。AI可以快速生成测试工具。ChatGPT具备强大的代码生成能力,创建工具将变得简单快捷。 AI未来是否会取代人类?测试工作的特点之一是重复性,AI恰好就是解决重复问题的,所以很多重复性测试工作,一定会被AI取代。但是AI始终无法取代测试人员,为什么? 因为AI不能替测试人员背锅呀。

测试流程,别再层层加码了

想当初,测试流程很纯粹,就是研发把代码写完了,功能交给测试,测试提bug,测完了上线,再发个测试报告,完事。

自动化用例依赖问题,是个伪命题

伪命题,是指那些表面上看似正确,但实际上是错误的、没有意义的或者根本无法验证的命题。

如何构建“测试开发体系”

构建知识体系,首先需要具备写作习惯和写作能力。笔记的重点是记录,需要养成记笔记的习惯,把知识保存下来。良好的写作能力,可以将复杂的概念用文字清晰表达,具有逻辑性和条理性。知识体系的展现形式,不只是脑图,还包括文档、幻灯片、流程图等,既要会写又要会画,通过多种形式将知识呈现出来。

测试的道与术

“道”说起来有点抽象,它相当于我们常说的“软技能”,包括价值观、认知能力、学习能力、创新能力、沟通协作等。不同层次的测试人员,道的差异也很大。初级测试人员,可能只知道测试是为了找出问题,能把需求上线即可。高级测试人员,也许会更加注重质量保障,从全局思考,既要保证线上不出问题,又要提高测试效率。他们的行为准则也不一样。有些人不注重资产沉淀,虽然能完成任务,但给人散乱的印象。有些人敬畏流程,严格按照标

测试工程师的成长,体现在2个地方

小伙伴B,测试过程中时刻充满了学习呀,工作中对自己需求的部分搞清楚,就涉及到很多知识点的学习呀,比如去了解开发咋实现的,然后你如何去测试。

解决“测试流程”问题的底层逻辑

这3个问题本质上都是测试流程问题,解决的底层逻辑是建立自己的流程并灵活调整。

工作以后,换种方式学习

工作碎片化时间,理解,思考,总结,能够加速成长。

接口自动化框架设计漫谈V1.0

针对“pytest搭建接口自动化框架”,谈谈对框架设计的当前认知。