1 ChatGPT是什么
ChatGPT(Chat Generative Pre-trained Transformer,生成预训练转换器),是OpenAI实验室于2022年11月30日发布的一款可以用于互动的聊天工具。它是人工智能技术驱动的自然语言处理工具,可以通过理解和学习人类的语言进行对话,它反映了人工智能发展的新趋势,即AI正从感知智能向认知智能快速发展。
像很多朋友一样,笔者在前些天初步小试了一下,问了几个生活、技术相关的问题,确实给出了有意义的回答,有些回答初看起来还很不错,可以给你不少启发。
今天继续带着好奇,进一步就软件测试专业上的问题作了一些探索。
2 软件功能测试中的应用
软件在版本发布之前,对用户宣称的功能是否已实现,质量是否可靠,是软件测试工程师需要回答的问题。为了回答这个问题,我们需要做测试分析、测试方案设计、测试用例设计等一系列的工作。而其中的测试分析是重中之重,我们主要依据用户需求、设计需求等进行测试分析。
现假设有产品经理给的业务需求如下:为了方便用户管理个人数据,用户可在手机通信录中选择要备份的重要数据,用U盘导出。
现在,测试工程师小A领了此任务的测试,并开始做测试分析,他想借助ChatGPT工具帮自己完善测试思路,以便测试更全面。
下面是他与ChatGPT的聊天记录。
问题1:手机通信录中数据,用户可通过U盘导出,请给出导出功能的测试思路。
小A一看,ChatGPT给出了7个点,好像是那么回事,但不满意。因为小A觉得有些重要的点它没给出,例如导出数据的正确性检查,但你又会发现它给出的第6点“错误处理测试”,也好像包含了导出数据的检查,只是有些含糊。
小A想了想,根据ChatGPT的输出原理,我们是发命令给它(系统)来处理的,所以当不满意结果时,我们只能通过修改给它的输入(给它处理任务的指令)。
小A于是向ChatGPT发出第2次请求。
问题2:手机通信录中的数据可通过U盘导出,用户可选择数据进行导出,用户通过点击“导出”按钮,实现导出。请给出导出功能的测试思路。
看来,这次的问话很成功,得到了小A想要的各种测试思路,例如最重要的“数据完整性测试”,还包括了界面测试,导出速度,大数据量导出时的性能,异常情况也考虑了。很棒!
但小A又想了想,导出数据是用U盘,而用户用的U盘有不同的分区格式,如FAT,FAT32,NTFS格式等,于是修改了问题的措词,在导出前面增加了“U盘”2个字,接着再问。
问题3:手机通信录中的数据可通过U盘导出,用户可选择数据进行导出,用户通过点击“导出”按钮,实现导出。请给出U盘导出功能的测试思路(上午10:00多问)
结果确实不同,第2、3次问的问题,仅是2字之差,即前者是“导出”,后者是“U盘导出”,ChatGPT系统匹配到的结果是不同的,此时,发现兼容性与性能方面的2个测试点不见了。
后来,由于小A有其他的事忙去了,上午就没时间再继续与ChatGPT聊天。直到下午15:00左右,小A就问题2与问题3就差2个字,结果却丢了2个测试点,没有想明白为什么这样,于是想同一个问题继续问。
问题4:手机通信录中的数据可通过U盘导出,用户可选择数据进行导出,用户通过点击“导出”按钮,实现导出。请给出U盘导出功能的测试思路(与问题3一模一样,下午15:00多问)
此时,ChatGPT给出的测试思路只有6个点了,怎么又丢了4个点呢,小A更是闹不明白了。
小A在想,同样的问题,上午问与下午问难道有区别吗,给出的结果是有随机性?
3 功能测试探索小结
通过同一个业务需求,小A的3种问法,及相同问题不同时间的问法,小A的探索小结如下:
1、向ChatGPT提问题,问题描述越准确,回答会越准确。
2、ChatGPT 有理解文本能力,但对中文的上下文理解会因个别字的差别,给出不同的结果。例如:对于汉语的表达,多句话或多个词是同一个意思,但其理解起来会存在差异。
3、同样的问题,不同时间问,ChatGPT的回答有随机性,这一点会给用户带来不确定性,不可靠的感觉。
综之,目前的ChatGPT 可以帮我们解决一些问题,如补充测试思路,补充测试点,让测试人员设计的用例更全面,但它还不可靠,存在不确定性,好像高兴时回答多一点,不高兴时回答少一点,还有点像小孩。
最后,还是想说一下,工具是为我们所用才能给我们带来价值,而不是控制我们,所以无论何时何地,思考问题的思维才是最重要的。
最后:下方这份完整的软件测试视频学习教程已经整理上传完成,朋友们如果需要可以自行免费领取【保证100%免费】
软件测试面试文档
我们学习必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有字节大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。