一.单元测试(Unit Testing)
单元测试:软件单元测试的对象是可独立编译或汇编的程序模块。测试的对象是软件测试中的最小单位:模块。
测试阶段:编码后或者编码前(TDD:测试驱动开发)注:一般编码后测试
测试对象:最小模块
测试人员:测试工程师或开发人员
测试依据:代码和注释+详细文档
测试方法:白盒测试
测试内容:模块接口测试、局部数据结构测试、独立执行路径测试、错误处理路径测试、边界条件测试
注释:
1、模块测试主要基于白盒测试,也可能会用到灰盒测试
2、TDD:测试人员先编写测试用例,开发人员根据测试用例写程序
1.1单元测试目的
a)单元测试用于验证详细设计文档(LLD)
b)验证详细设计文档中规定的软件单元的功能、性能、接口和其它设计约束等要求,逐项进行测试
1.2单元测试工具
JavaScript单元测试工具 JsTestDriver和Venus和Buster.JS
C单元测试工具 greatest
C++单元测试工具 QTRunner和ECUT
单元测试维护工具 Unitils
Qt单元测试工具 QTestlib
存储过程单元测试工具 SQLUnit
数据库单元测试工具 DbUnit
NoSQL的单元测试工具 NoSQLUnit
单元测试框架
Arquillian、The Grinder、
JUnit 和TestNG是一个 Java 语言的单元测试框架;
AndroidJUnit4 是Android的单元测试框架;
C++ 单元测试框架 cipra
Python单元测试框架 PyUnit、unittest、pytest
Python 模拟测试框架 CaptureMock
gtest是一个跨平台的(Liunx、Mac OS X、Windows、Cygwin、Windows CE and Symbian)C++单元测试框架,由google公司发布。
二.集成测试(Integration Testing)
集成测试:测试对象
a)任何一个软件单元集成到计算机软件系统的组装过程
b)任意一个组装得到的软件系统
测试阶段:一般是单元测试之后
测试对象:模块间的接口
测试人员:测试工程师或开发工程师
测试依据:单元测试的文档+软件概要设计文档
测试方法:黑盒测试与白盒测试(灰盒测试)
测试内容:模块之间数据传输、模块之间功能冲突、模块组装功能的正确性、全局数据结构、单模块
注释:
集成测试是在模块之间进行测试(至少两个)。
2.1集成测试目的
a)集成测试用于软件概要设计文件
b)检验软件单元之间、软件单元和已集成的软件系统之间的接口关系,并验证已集成软件系统是否符合设计要求
集成测试的内容
集成测试内容包括模块之间接口以及集成后的功能。主要使用黑盒测试方法测试继承的功能,并对以前的集成进行回归测试。集成测试的内容包括以下方面:
(1)、将各个具有相互调用关系的模块组装起来时,检查相应模块接口的数据是否会丢失。
(2)、判断各个子功能组合起来是否能够达到预期要求的父功能。
(3)、检查一个模块的功能是否对其他模块的功能产生不良影响。
(4)、检查全局数据结构是否正确,以及在完成模块功能的过程中是否会被异常修改。
(5)、单个模块的误差累计起来,是否会放大到不可接受的程度。
集成测试过程
1.计划阶段: 依据需求规格说明书、概要设计文档和开发计划,拟定软件集成测试计划;
2设计阶段:依据被测对象的结构、待集成模块、接口、集成测试策略、测试工具等进行分析,拟定集成测试设计方案;
3实现阶段:主要进行集成测试用例设计和集成测试代码设计;
4执行阶段: 执行测试,生成测试报告。
集成测试原则
1.所有的公共接口都要被测试到;
2.关键模块必须进行充分的测试;
3.集成测试应该按一定的层次进行;
4.集成测试的策略应该综合考虑质量、进度、成本;
5.当测试计划中的结束标准满足时,集成测试结束;
6.集成测试根据集成测试的计划和方案进行,防止测试的随意性;
7.项目管理者保证测试用例经过审查;
8.测试的执行结果应该如实的被记录。
集成测试技术和步骤
技术:
以黑盒测试技术为主、白盒测试技术为辅(灰盒测试技术)
步骤:
与集成测试策略相关
集成测试策略
基于功能分解的集成测试:非渐增式集成、渐增式集成、瞬时集成。
瞬时集成测试策略又称大爆炸测试、一次性集成。首先对每个模块分别进行模块测试,然后将所有模块集成起来在一起进行测试,最终得到要求的软件系统。
集成测试工具
Jenkins持续集成自动化构建发布工具
开源的 Restful Api 集成测试工具 Hitchhiker
集成测试的三个级别
由于集成的力度不同,一般可以把集成测试划分为三个级别:
1、模块内集成测试。
2、子系统内集成测试。
3、子系统间集成测试。
三.系统测试(System Testing)
系统测试:系统测试的测试对象是完整的、集成的计算机系统,重点是新开发的软件配置项的集合。包括对功能、性能以及软件所运行的软硬件环境进行测试。时间大部分在系统测试执行阶段,包括回归测试和冒烟测试。
测试阶段:集成测试阶段之后
测试对象:整个系统(软件、硬件)
测试人员:测试工程师
测试依据:需求规格说明文档
测试方法:黑盒测试
测试内容:功能、界面、可靠性、易用性、性能、兼容性、安全性等
注释:
1、系统测试是整体来看,不需要单独看一个模块
2、系统测试顺序:冒烟测试、系统测试、回归测试
3.1系统测试目的
用于验证需求规格说明文档
系统测试目标
1、 确保系统测试的活动是按计划进行的;
2、 验证软件产品是否与系统需求用例不相符合或与之矛盾;
3、 建立完善的系统测试缺陷记录跟踪库;
4、 确保软件系统测试活动及其结果及时通知相关小组和个人。
系统测试主要分为以下几种:
1.恢复测试
2.安全测试
3.强度测试
4.性能测试
系统测试原则
1、测试机构要独立;
2、要精心设计测试计划,包括负载测试、压力测试、用户界面测试、可用性测试、逆向测试、安装测试、验收测试;
3、要进行回归测试;
4、测试要遵从经济性原则。
系统测试的方法
功能测试:功能测试属于黑盒测试,是系统测试中最基本的测试。功能测试主要根据产品的需求规格说明和测试需求列表,验证产品是否符合需求规格说明。
协议一致性测试:主要用于分布式系统。在分布式系统中,很多功能的实现是通过多台计算机相互协作来完成的,这要求计算机之间能相互交换信息,所以需要制定一些规则(协议)。对协议进行测试,通常包括:协议一致性测试、协议性能测试、协议互操作性测试、协议健壮性测试。
性能测试:主要用于实时系统和嵌入式系统,性能测试是指测试软件在集成系统中的运行性能,目标是量度系统的性能和预先定义的目标有多大差距。一种典型的性能测试是压力测试,当系统同时接收极大数量的用户和用户请求时,需要测量系统的应对能力。性能测试要有工具的支持,在某种情况下,测试人员必须自己开发专门的接口工具。
压力测试:又称强度测试,是在各种超负荷的情况下观察系统的运行情况的测试。
容量测试:在系统正常运行的范围内测试并确定系统能够处理的数据容量。容量测试是面向数据的,主要目的就是检测系统可以处理目标内确定的数据容量。
安全性测试:安全性测试就是要验证系统的保护机制是否抵御入侵者的攻击。保护测试是安全性测试中一种常见的测试,主要用于测试系统的信息保护机制。评价安全机制的性能与安全功能本身一样重要,其中安全性的性能主要包括:有效性、生存性、精确性、反应时间、吞吐量。
失效恢复测试:验证系统从软件或者硬件失效中恢复的能力。失效恢复测试采用各种人为干预方式使软件出错,造成人为的系统失效,进而检测系统的恢复能力。如果恢复需要人为干预,则应考虑平均修复时间是否在限定的范围内。
备份测试:备份测试是失效恢复测试的补充,目的是验证系统在软件或者硬件失效的实践中备份其数据的能力。
GUI测试:GUI测试与用户友好性测试和可操作性测试有重复,但GUI测试更关注对图形界面的测试。GUI测试分为两个部分,一方面是界面实现与界面设计的情况要符合;另一方面是要确认界面能够正确处理事件。
GUI测试设计测试用例一般要从以下4方面考虑:
(1)划分界面元素,并根据界面的复杂性进行分层。通常把界面划分为三个层次,第一层是界面原子层;第二层是界面组合元素层;第三层是一个完整的窗口。
(2)在不同的界面层次确定不同的测试策略。
(3)进行测试数据分析,提取测试用例。
(4)使用自动化测试工具进行脚本化工作。
健壮性测试:又称容错测试,用于测试系统在出故障时,是否能够自动恢复或者忽略故障继续运行。健壮性测试的一般方法是软件故障插入测试,在软件故障插入测试中,需要关注三个方面:目标系统、故障类型和插入故障的方法。
兼容性测试:检验被测的应用系统对其他系统的兼容性。
易用性测试:与可操作性类似。检测用户在理解和使用系统方面是否方便。易用性测试是面向用户的系统测试,包括对被测系统的系统功能、系统发布、帮助文本和过程等的测试。最好在开发阶段就开始进行。
安装测试验证成功安装系统的能力。
文档测试:主要是针对系统提交给用户的文档进行验证。文档测试的目标是验证用户文档的正确性并保证操作手册的过程能正常工作。
在线帮助测试:用于检验系统的实时在线帮助的可操作性和准确性。
数据转换测试:目标是验证已存在数据的转换并载入一个新的数据库是否有效。