【测试】测试分类
按照测试目标分类
界面测试
肉眼看到的任何元素都需要进行测试,例如:按钮的点击、输入框输入文本、下拉框的选择、其他的交互等。
前端开发在执行开发之前需要交互/设计同学给出设计图(以图片的形式展示要实现的前端页面,在设计图中明确了给定了每个元素大小,形状、颜色等等)
界⾯测试(简称UI测试),指按照界⾯的需求(⼀般是UI设计稿)和界⾯的设计规则,对我们软件界⾯所展⽰的全部内容进⾏测试和检查,⼀般包括如下内容:
-
验证界⾯内容显⽰的完整性,⼀致性,准确性,友好性。⽐如界⾯内容对屏幕⼤⼩的⾃适应,换⾏,内容是否全部清晰展⽰;
-
验证整个界⾯布局和排版是否合理,不同板块字体的设计,图⽚的展⽰是否符合需求;
-
对界⾯不同控件的测试,⽐如,对话框,⽂本框,滚动条,选项按钮等是否可以正常使⽤,有效和⽆效的状态是否设计合理;
-
界⾯的布局和⾊调符合当下时事的发展。一般网站都有自己的主体色(淘宝:橙色;京东:红色;饿了么:蓝色;美团:黄色;)
只要与设计图不符,就可以tibug。
功能测试
功能测试就是对产品的各功能进⾏验证,根据功能测试⽤例,逐项测试,检查产品是否达到⽤⼾要求的功能。
如何进行功能测试?
设计功能测试⽤例,参考产品规格说明书进⾏⽤例的编写,具体的测试⽤例需要使⽤⿊盒设计测试⽤例的⽅法,如等价类、边界值、判定表法、正交法、场景法、错误猜测法等。
性能测试
我们在使⽤软件的时候有时会碰到软件⽹⻚打开时越来越慢,查询数据时很⻓时间才显⽰列表,软件运⾏越来越慢等问题,这些问题都是系统的性能问题引起的。
要进⾏软件产品的性能问题,要对产品的性能需求进⾏分析,然后基于系统的性能需求和系统架构,完成性能测试的设计和执⾏,最后要进⾏持续的性能调优。
可靠性测试
可靠性(Availability)即可⽤性,是指系统正常运⾏的能⼒或者程度,⼀般⽤正常向用户提供软件服务的时间占总时间的百分⽐表⽰。
可靠性 = 正常运⾏时间/(正常运⾏时间+⾮正常运⾏时间)*100%
可⽤性指标⼀般要求达到4个或5个“9”,即99.99%或者99.999%
如果可⽤性达到99.99%,对于⼀个全年不间断(7*24的⽅式)运⾏的系统,意味着全年 (252600min)不能正常⼯作的时间只有52min,不到⼀个⼩时。
如果可⽤性达到99.999%,意味着全年不能正常⼯作的时间只有5min。
安全性测试
安全性是指信息安全,是指计算机系统或⽹络保护⽤⼾数据隐私,完整,保护数据正常传输和抵御⿊客,病毒攻击的能⼒。
例如:sql注入、xss漏洞、登陆模块密码一般要加密显示,数据库:用户敏感信息要加密、接口返回值:不能返回用户的隐私数据。
安全性测试属于⾮功能性测试很重要的⼀个⽅⾯,系统常⻅的安全漏洞和威胁如下
- 输⼊域,如输⼊恶性或者带有病毒的脚本或⻓字符串;
- 代码中的安全性问题,如SQL/XML注⼊
- 不安全的数据存储或者传递
- 数据⽂件,邮件⽂件,系统配置⽂件等⾥⾯有危害系统的信息或者数据;
- 有问题的访问控制,权限分配等
- 假冒ID:⾝份欺骗
- 篡改,对数据的恶意修改,破坏数据的完整性
安全性测试的⽅法有代码评审,渗透测试,安全运维等,常⽤的静态安全测试⼯具有,Coverity,IBM Appscan Source,HPFortify,常⽤的动态安全测试有OWASP的ZAP,HP WebInspect等。其中静态安全测试是常⽤的安全性测试的⽅法。
易用性测试
检查产品/软件/功能是否具备简单易上手的属性
1.标准性和规范性
对于现有的软件运行平台,通常其UI标准已经不知不觉地被确立了,成为大家的共识。多数用户已经习惯并且接受了这些标准和规范,或者说已经认同了这些信息所代表的的含义。比如安装软件的界面的外观,在什么场合使用恰当的对话框等。
所以用户界面上的各中信息应该符合规范和习惯,否则用户使用起来会不舒适,并得不到用户的认可。测试⼈员需要把与标准规范,习惯不⼀致的问题报告为缺陷
2.直观性
⽤⼾界⾯的直观性,要求软件功能特性易懂,清晰。⽤⼾界⾯布局合理,对操作的响应在⽤⼾的预期之中。⽐如数据统计结果⽤报表的形式(条形图,扇形图等)展⽰清晰直观;现在主流的很多搜索引擎和⽇历的设计也有直观性的特点
3.灵活性
软件可以有不同的选项以满⾜不同使⽤习惯的⽤⼾来完成相同的功能。但是灵活性的设计要把握好度,不然可能由于太多的⽤⼾状态和⽅式的选择,增加了软件设计的复杂性,和程序实现的难度。 例如⼿机键盘有九宫格和全键盘,还⽀持⼿写,满⾜了不同⽤⼾的需求
4.舒适性
舒适性主要强调界⾯友好,美观,操作过程顺畅,⾊彩⽤运恰当,按钮的⽴体感等。例如左⼿⿏标的设置给习惯⽤左⼿的⼈带来了便利,也为右⼿⼗分劳累时提供了另⼀种途径;舒适性主要强调界⾯友好,美观,操作过程顺畅,⾊彩⽤运恰当,按钮的⽴体感等。例如左⼿⿏标的设置给习惯⽤左⼿的⼈带来了便利,也为右⼿⼗分劳累时提供了另⼀种途径.
按照执行方式分类
静态测试
所谓静态测试(static testing)就是不实际运行被测软件,而只是静态地检查程序代码、界面或文档中可能存在的错误的过程。
不以测试数据的执行而是对测试对象的分析过程,仅通过分析或检查源程序的设计、内部结构、逻辑、代码风格和规格等来检查程序的正确性。
常见的静态测试方式有代码走查,代码扫描工具(sonnar)等。
肉眼检查代码是否存在问题,检查的主导通常为开发领导。
动态测试
动态测试(dynamic testing),指的是实际运⾏被测程序,输⼊相应的测试数据,检查实际输出结果和预期结果是否相符的过程,所以判断⼀个测试属于动态测试还是静态的,唯⼀的标准就是看是否运行程序。
⼤多数软件测试⼯作都属于动态测试
按照测试方式
白盒测试
白盒测试又称为结构测试或逻辑测试,它⼀般用来分析程序的内部结构,针对程序的逻辑结构来设计测试用例进行测试。
白盒测试的测试目的是,通过检查软件内部的逻辑结构,对软件中的逻辑路径进行覆盖测试;在程序不同地方设立检查点,检查程序的状态,以确定实际运行状态与预期状态是否⼀致
⽩盒测试主要分为静态测试和动态测试两种。静态测试常⻅于桌⾯检查、代码审查、代码⾛查、代码扫描⼯具
动态测试⽅法主要包含六种测试⽅法:语句覆盖、判定覆盖、条件覆盖、判定条件覆盖、条件组合覆盖、路径覆盖。
下面通过一个案例来解释一下这六种方式:
语句覆盖:
每个语句至少执行一次。
针对A and B:A为T且B为T
针对C or D:C为T或者D为T
得出用、用例:
⽤例1:A为T,B为T,C为T,D为F(C和D任意选择一个)
判定覆盖
A and B 要为T => A=T B=T ①
A and B 要为F => A=T B=F 或者A=F B=T或者 A=F B=F②
C or D 要为T => C=T D=T/F 或者 C=T/F D=T③
C or D 要为F => C=F D=F ④
得出⽤例:
⽤例1:A=T B=T C=T D=F 满⾜①③
⽤例2:A=T B=F C=F D=F 满⾜②④
结论:每个判定都要覆盖到为真和为假俩种情况
条件覆盖
A T F
B T F
C T F
D T F
⑤ ⑥
得出用例:
⽤例1:A=T B=T C=T D=T
⽤例2:A=F B=F C=F D=F
判定条件覆盖
结合判定覆盖和条件覆盖。得出⽤例:⽤例1:A=T B=T C=T D=T 满⾜①③⑤⽤例2:A=F B=F C=F D=F 满⾜②④⑥
判定覆盖:if条件中既要满足为真的情况,也要测试为假的情况;
条件覆盖:表达式纪要满足为真,也要满足为假。
条件组合覆盖
A B ∣ C D
T T ∣ T T test1
T F ∣ T T test2
F T ∣ T T test3
F F ∣ T T test4
每⾏就可以是⼀个⽤例,⼀共四个⽤例。
路径测试
路径测试是一种软件测试技术,用于检查程序中可能执行的路径。
其主要目的是确保程序在各种可能的执行路径下都能正确运行,并且处理各种可能的情况。
在路径测试中,测试人员会分析程序的控制流图,确定所有可能的路径,然后设计测试用例来覆盖这些路径。
总结:
- 白盒测试主要应用于单元测试阶段
- 先执行静态设计用例的方法,再执行动态设计设计测试⽤例的⽅法
- 设计⽤例⼀般使⽤路径测试,重点模块追加使⽤逻辑覆盖⽅法
黑盒测试
⿊盒测试就是在完全不考虑程序逻辑和内部结构的情况下,检查系统功能是否按照需求规格说明书的规定正常使⽤、是否能适当的接收输⼊数据⽽输出正确的结果,满⾜规范需求。
所以,⿊盒测试⼜称之为数据驱动测试,只注重软件的功能
⿊盒测试的优点
不需要了解程序内部的代码以及实现,不关注软件内部的实现。
从⽤⼾⻆度出发设计测试⽤例,很容易的知道⽤⼾会⽤到哪些功能,会遇到哪些问题,锻炼测试⼈员的产品思维
测试⽤例是基于软件需求开发⽂档,不容易遗漏软件需求⽂档中需要测试的功能。
⿊盒测试的缺点是不可能覆盖所有代码。
⿊盒测试⽤到的测试⽅法有,等价类,边界值,因果图,场景法,错误猜测法等
灰盒测试
灰盒测试,是介于⽩盒测试与⿊盒测试之间的⼀种测试,灰盒测试多⽤于集成测试阶段,不仅关注输出、输⼊的正确性,同时也关注程序内部的情况。
但是,灰盒测试没有⽩盒测试详细和完整,⿊盒测试是覆盖产品范围最⼴的测试,因此灰盒测试基本是不能够替代⿊盒测试,否则需要很⼤的代价,设计⾮常多的⽤例。
- 常⻅⾯试题:你知道的测试⽅法有哪些?哪种⽤的⽐较多?
常⻅的测试⽅法有⿊盒测试,⽩盒测试和灰盒测试。开发⼈员主要⽤⽩盒测试和灰盒测试,测试⼈员主要⽤⽩盒测试和⿊盒测试。对于测试⼈员来说,相较于⽩盒测试,⿊盒测试⽤的更多⼀些。
按照测试阶段分类
单元测试
与编码同步进⾏,针对软件最⼩组成单元(人为规定的最小单元:方法、接口、功能都可以称之为单元)进⾏测试,主要采⽤⽩盒测试⽅法,从被测对象的内部结构出发设计测试⽤例。
最⼩单元实际是认为定义的,⼀个⽅法,⼀个类都可以理解为“最⼩单元”。
- 测试阶段:编码后或者编码前(TDD 测试驱动开发)
- 测试对象:最⼩模块
- 测试⼈员:⽩盒测试⼯程师或开发⼯程师
- 测试依据:代码和注释+详细设计⽂档
- 测试⽅法:⽩盒测试
- 测试内容:模块接⼝测试、局部数据结构测试、路径测试、错误处理测试、边界测试
集成测试
集成测试也称联合测试(联调)、组装测试,将程序模块采⽤适当的集成策略组装起来,对系统的接⼝及集成后的功能进⾏正确性检测的测试⼯作。集成主要⽬的是检查软件单位之间的接⼝是否正确。
测试阶段:⼀般单元测试之后进⾏
- 测试对象:模块间的接⼝
- 测试⼈员:⽩盒测试⼯程师或开发⼯程师
- 测试依据:单元测试的模块+概要设计⽂档
- 测试⽅法:⿊盒测试与⽩盒测试相结合
- 测试内容:模块之间数据传输、模块之间功能冲突、模块组装功能正确性、全局数据结构、单模块缺陷对系统的影响
系统测试
对通过集成测试的系统进⾏整体测试,验证系统功能性和⾮功能性需求的实现。
- 测试阶段:集成测试通过之后
- 测试对象:整个系统(软、硬件)
- 测试⼈员:⿊盒测试⼯程师
- 测试依据:需求规格说明⽂档
- 测试⽅法:⿊盒测试
- 测试内容:功能、界⾯、可靠性、易⽤性、性能、兼容性、安全性等
冒烟测试
这⼀术语源⾃硬件⾏业。对⼀个硬件或硬件组件进⾏更改或修复后,直接给设备加电。如果没有冒烟,则该组件就通过了测试。在软件中,“冒烟测试”这⼀术语描述的是在将代码更改嵌⼊到产品的源树中之前对这些更改进⾏验证的过程。在检查了代码后,冒烟测试是确定和修复软件缺陷的最经济有效的⽅法。冒烟测试设计⽤于确认代码中的更改会按预期运⾏,且不会破坏整个版本的稳定性。
检查当前已经开发好的程序是否具备可测试性。
冒烟测试的对象是每⼀个新编译的需要正式测试的软件版本,⽬的是确认软件主要功能和核⼼流程正常,在正式进⾏系统测试之前执⾏。冒烟测试⼀般在开发⼈员开发完毕后提交给测试⼈员来进⾏测试时,先进⾏冒烟测试,保证基本功能正常,不阻碍后续的测试。
如果冒烟测试通过,则测试⼈员开始进⾏正式的系统测试,如果不通过,则测试⼈员可以让开发⼈员重新修复代码直到冒烟测试通过,再开始进⾏系统测试
回归测试
回归测试是指修改了旧代码后,重新进⾏测试以确认修改没有引⼊新的错误或导致其他代码产⽣错误。
在整个软件测试过程中占有很⼤的⼯作量⽐重,软件开发的各个阶段都会进⾏多次回归测试。随着系统的庞⼤,回归测试的成本越来越⼤,通过选择正确的回归测试策略来改进回归测试的效率和有效性是很有意义的。
回归测试主要由⼈⼯测试和⾃动化测试进⾏。
在实际⼯作中,回归测试需要反复进⾏,当测试者⼀次⼜⼀次地完成相同的测试时,这些回归测试将变得⾮常令⼈厌烦,⽽在⼤多数回归测试需要⼿⼯完成的时候尤其如此,因此,需要通过自动化来实现重复的和⼀致的回归测试。通过测试⾃动化可以提⾼回归测试效率。为了⽀持多种回归测试策略,⾃动测试⼯具应该是通⽤的和灵活的,以便满⾜达到不同回归测试⽬标的要求。
自动化测试解决了回归测试的难点。
验收测试
针对⽤⼾需求,对通过系统测试的软件进⾏交付性测试,以确定系统是否满⾜验收标准,由⽤⼾或其他授权机构决定是否接受系统。验收测试是部署软件之前的最后⼀个测试操作。它是技术测试的最后⼀个阶段,也称为交付测试。验收测试的⽬的是确保软件准备就绪,按照项⽬合同、任务书、双⽅约定的验收依据⽂档,向软件购买都展⽰该软件系统满⾜原始需求。
- 测试阶段:系统测试通过之后
- 测试对象:整个系统(包括软硬件)。
- 测试⼈员:主要是最终⽤⼾或者需求⽅。
- 测试依据:⽤⼾需求、验收标准
- 测试⽅法:⿊盒测试
- 测试内容:同系统测试(功能...各类⽂档等)
是否手工测试
手工测试
⼿⼯测试就是由⼈去⼀个⼀个的输⼊⽤例,然后观察结果,和机器测试相对应,属于⽐较原始但是必须的⼀个步骤。
自动化测试
就是在预设条件下运⾏系统或应⽤程序,评估运⾏结果,预先条件应包括正常条件和异常条件。简单说 ⾃动化测试是把以⼈为驱动的测试⾏为转化为机器执⾏的⼀种过程。 ⾃动化测试⽐如功能测试⾃动化、性能测试⾃动化、安全测试⾃动化。 ⾃动化测试按照测试对象来分,还可以分为接⼝测试、UI测试等。接⼝测试的ROI(产出投⼊⽐)要⽐UI测试⾼。
自动化测试和手工测试的优缺点
自动化测试 | 手工测试 | |
---|---|---|
优点 |
|
|
缺点 |
|
|
按照实施组织划分
⼤型通⽤软件,在正式发布前,通常需要执⾏Alpha和Beta测试
α测试
α测试⼜叫内测或者叫a测,其实都是⼀个涵义。
α测试通常是公司内部的⽤⼾在模拟实际操作环境下进⾏的测试。α测试的⽬的是评价软件产品的FLURPS(即功能、可使⽤性、可靠性、性能和⽀持)。 α测试不能由程序员或测试员完成。
α测试
α测试⼜叫公测或者叫b测。
β测试由软件的最终⽤⼾们在⼀个或多个场所进⾏,这⾥就可以理解为,β测试是正式⽤⼾中的⼀部分,他们在任意的场合来使⽤软件,⽬的是为了发现软件是否存在⼀系列的问题
通常会发送⼀些邀请码,来邀请⽤⼾参与项⽬测试。
α测试与β测试的区别
测试的场所不同:α测试是在公司内部进⾏测试的,但是β测试是在⽤⼾环境下进⾏测试的;α测试的环境是受开发⽅控制的,⽤⼾的数量相对⽐较少,时间⽐较集中;β测试的环境是不受开发⽅控制的,⽤⼾数量相对⽐较多,时间不集中。
测试执行时机不同:α测试先于β测试执⾏。通常是α测试通过后,在进⾏β测试
测试持续时间长短不同:α测试时间没有β测试持续时间⻓
第三方测试
第三⽅软件测试是指由独⽴的第三⽅公司或组织进⾏的软件测试活动。通过第三⽅测试,可以确保软件的质量,节省成本,确保软件尽快上线。
按照测试地域划分
按照测试地域划分,⼀般会将测试划分为国际化测试和本地测试
国际化测试
简⾔之,测试⼈员需要测试软件在不同语⾔和地区是否能正常⼯作
国际化测试需要关注软件的哪些特性:
- 布局
- 时间
- ⽇期
- 数字格式
- 货币
- 机器型号
- .....
本地测试
之前所讲的测试都属于本地测试