需求一:用户数信息
1)调查系统当前和未来使用的用户数
系统用户数=本系统目前注册的用户数,注册用户数并不代表他会每天并且无时无刻的使用着。
在线用户数=同时在线对系统进行操作的用户数量(相当于混合场景)
并发用户数=同时在线并且同时操作同一个功能(单场景添加集合点)
估算未来一到五年使用此用户的数量,可以根据一些日志数据估算出来的。
2)调查系统当前和未来的每日、月活跃用户数
当前活跃用户数,即某天大概有多少用户使用本系统:那么这部分数据一说来也就是当前真正对系统构成压力的数量。
需求二:业务数据量
1)调查当前和未来背景数据量
因为从100条数据中查10条也许很快,但是未来数据量变成100w那你懂得...
2)调查当前和未来业务每天使用的总笔数
每个用户每天可能下多少笔单,平均需要多少次来执行这个操作?那么根据用户数,我们就可以确定每天下单的笔数。如50人,平均每人每天下10次,每次下100笔,那么总笔数就是50*10*100=50000笔。注意此数据根据TPS换算后,我们可以换算出系统的业务总处理量是否能达到这个数据,这也是一个很重要的指标。
3)调查当前和未来高峰时业务的总笔数
即上面所描述的特殊情况,这也是必须要考虑,并且拿到的数据。
需求三:场景业务的调查
1)系统关键、核心的业务
从系统亮点出发,以主要的业务逻辑点为第一核心:这些功能对系统或公司来说往往具有举足轻重的地位,无论怎样都必须要优先执行满足这以功能的性能测试
2)高访问量的功能,经常承受压力的功能点
系统中表现在系统关键、核心业务前面必须要经过的地方:比如对于百度搜索来说,其核心业务是搜索功能,但是首先要面对的其高访问量对是搜索输入框加载的首页,百度首页加载即高访问量的请求
3)业务复杂度高
往往说来业务逻辑复杂度的都具备1、2点的要素,可能其功能使用的人数较少但是对系统有很严重影响:这些功能由于其业务逻辑具有的复杂度,往往出错的可能性也比较高,所以这些功能也是必须要进行测试的。
需求四、与性能指标指标相关的调查
1、调查每秒事务数(TPS)
这是衡量系统处理能力的一个重要指标,同时这个指标在一定程序也关系到业务数量是否能够及时完成,所以需要获得。
估算方式一:BS类可以参考以下指标估算:Vuser*TRequest/RPS=TPS(注意1Requset的含义为Resource=0的请求)。Resource=0的含义其实就是保证此次请求能够真正到达服务器,去掉那些本地可以缓存的东西。
估算方式二:CS类可以参考每小时的业务数/3600s,这是没办法的办法。
估算方式三:API类往往要求是Vuser*1API=TPS,由于公司的API都是提供给机构用户的,所以API要求往往比较高,所以需要保证其远算得非常快。
注:Vuser:虚拟用户数;TRequest:事务中的请求数;RPS:平均响应时间。
2、调查90%(或95%)响应时间
只看平均时间是不太科学的,对于我们的系统来说需要保证绝大多数的用户其响应时间都是非常快的,所以我们从90%或95%用户响应时间为指标的标准。
如果拿不到,那么我们仍可以估算:
估算方式一.BS类,按通用的标准2一5一8的标准来进行。不同业务,不同客户类型要求不同,但对于我们的产品来说绝大多数是不能超过5s
估算方式二:CS类,根据处理的数据量其时间不同,但一般说来是不能超过15s的。
估算方式三:API类,从行业的角度来说,一般要求是毫秒级(<500ms)
3、平均响应时间和TPS的波动率
这是对响应时间的补充,要求其系统响应时间应尽量稳定,TPS的波动率受测试方法和思考、间隔时间的影响。可参考以下的计算方式:
T=(TPS标准差/TPS平均值)*100%一般说来小于10%
T= (RPS标准差/RPS平均值)*100%一般说来小于10%
----小知识:测试的分类-------------------
第一类前端性能测试(客户端)
B/S:HttpWatch、FireBug、YSlow、JS内存泄漏、大数据量下的功能测试、浏览器长时间运行的稳定性测试等。
C/S:内存泄漏、CPU使用、显卡使用等:
网络性能测试:利用工具分析网络传输以及延时等,为宽带拓展做铺垫。
第二类服务器端性能测试
性能测试,是指以性能预期目标为前提,对系统不断施加压力,验证系统在资源可接受范围内,是否能达到性能预期。(即:系统是否满足预定的性能目标?)
负载测试,是指对系统不断地增加压力或增加一定压力下的持续时间,直到系统的某项或多项性能指标达到临界值,例如某种资源已经达到饱和状态等:(即,最大并发数是多少?在什么时候,响应时间不可接受”系统的服务器资源瓶颈是什么?)
稳定性测试,是指被测试系统在特定硬件、软件、网络环境条件下,给系统加载一定业务压力,使系统运行一段较长时间,以此检测系统是否稳定,一般稳定性测试时间为n*12小时。(即系统在一般压力条件下,是否可以提供连接不断的优质服务?系统在长时间最大压力条件下,是否崩溃?)
4、测试前环境的检查收集
环境检查包括服务器的架构以及部署方案,服务器的配置、中间件的参数配置,以及需求、功能测试报告、API调用方式等。
服务器的配置需要收集生产环境与实测试环境的服务器的配置。主要收集:
CPU:型号、核心、速度、核数、倍频、总线速度,己耗费平均CPU
内存:总物理内存、所在磁盘的虚拟内存、可用物理内存
磁盘:转速(如是旧有电脑,在执行前最好磁盘碎片整理一下)
网卡:一般是100Mb,专用网络可能在1000MB以上。
业务
跟据客户实际使用情况,划分业务比例:
某个功能在一段时间内的使用频率:每天使用此功能大概有多少次?在多长时间内会操作此功能?
如设计脚本用例为:登录>进入单表查询(70%)>通过目录导航(80%)>检索>下载(80%),根据功能的重要性,这个用例应该首先要测试单场景,并且并发数也可能比其它的功能大一些,所以需要设置集合点。
其它业务相对于使用得少一些的则可以将其与上面的用例组合成混合场景:其它场景也可以继续细分。
思考时间
观察、推测用户操作这一个过程的时间
以一个正常用户使用系统业务的角色,录制脚本随机产生,随后根据实际情况调整其值:在运行场景的时候,以50%至120%的比例随机使用思考时间
5.持续时间
用户操作此功能的时间段,采用二八定理,取80%的场景时间:
注意用户操作此功能时间段,如果是业务类软件,中午的时间要去掉:
6.加载和退出方式
一般采用缓慢登录的方式,以便观察当用户数降低时其服务器的资源情况。但登录和退出功能除外,更多的登录和退出是集中在一个时间段。
下图展示了如何将整个系统,按照用户操作业务的比例来构成一个整体的认识,通过功能的比例,我们很容易就可以得出其性能测试需求覆盖哪些功能
分享到:
相关推荐
一些指标的讲解哈
基于YOLOv8和FASTAPI的图片物体检测API后端源码+部署教程+训练好的模型+各项评估指标曲线(高分项目).zip基于YOLOv8和FASTAPI的图片物体检测API后端源码+部署教程+训练好的模型+各项评估指标曲线(高分项目).zip...
系统框架性能测试、TOP-API接口性能测试,到现在的Web应用性能测试,无线性能测试 领域,淘宝性能测试在不断向前发展,横向、纵向都在不断深入、拓宽,不断创新。 经过五彩石项目对淘宝的整体应用重构之后,淘宝网...
,实现一个功能完善的网络性能指标测试系统。可广泛应用于各大运营商网络质量的监控检测、互联网质量客户感知系统,可实时便捷检测各项 网络指标;并提供丰富易用接口,便于快速集成。 点量网络性能检测库SDK开发...
上期CTP API C++ 源代码 单合约版 下载文件名AutoTrader_ctp_c++源代码.rar 填入经纪公司代码,实盘帐号,密码即可完成行情接收,指标计算,实盘下单连续开平仓。 功能简要介绍如下: 自动保存订阅合约TICK数据到\...
对开发人员友好:我们提供了内置的开发服务器来测试您的插件和设置,并具有诸如绕过CORS限制的代理之类的功能 简洁的用户界面和用户友好性:用户界面专注于API操作,使其成为用户界面中的一流公民。 还实现了一些...
OpenAPI性能 :robot: 自动OpenAPI性能测试 :robot: 说明文件: 源代码: 持续整合: 该项目将利用OpenAPI架构来构建自动化的REST API性能测试和基准测试工具。 OpenAPI为REST API定义了一个接口,该接口允许自动生成...
基于Jmeter的API性能指标。。。。。。。。。。。。。。。。
分析并生成构建性能报告,可直观的对比两个版本的构建性能,以便尽早发现构建性能问题,基于 Lighthouse 对网站进行性能测试,给出各方面性能指标和相关建议,预置 Gitee API 支持,能够在 Gitee 仓库中有新的提交时...
测试使用实际应用,并且在可能的情况下使用本机 API,分数反映的是实际应用性能。 《STORAGE “存储” 测试》 “存储” 速度是个容易被忽略的智能手机指标。不论处理器多快,当存储速度过慢时,都会带来延迟、顿缓...
swagger-stats | API可观察性 |在Node.js Microservices中跟踪API调用并监视API性能,运行状况和使用情况统计信息Express,Fastify,Koa,Hapi,Resify swagger-stats跟踪Node.js Microservices中的REST API请求和...
第三种是随着请求量的快速增长,而该系统却从未做过性能测试,项目组担心系统在可预见的短期会扛不住,所以要求测试人员对该进行全面的性能测试,给出一份参考数据对于第一二两种情况,都会有很明确的现网性能指标,...
nuQLeus 通过解析器级别的性能指标来增强GraphQL端点测试功能。目录作者执照链接/联系方式 描述NuQLeus是一个轻巧的,独立的GraphQL端点测试GUI,可从GraphQL查询和突变中提取解析器级别的跟踪性能指标,并使最终...
Go-API自动测试1,项目说明1.1一句话描述go实现针对的Http(后续加grpc协议)接口的自动化测试和压测工具,把接口功能测试与接口压测结合起来2数据流转过程3细节思路利用Go-micro框架把用例生成,发送请求,产生并发...
Spring引导1性能Spring Boot 1.5.14性能指标,带有简单的ping控制器,没有任何业务逻辑。 /src/main/java/StatusController.java @RestController@RequestMapping ( " /api " )public class StatusController { @...
这个WordPress插件可让您检测和跟踪网站性能指标。 它使用浏览器的 API来衡量指标。 该插件与Google Analytics(分析)集成,并在一些预定义事件上发送timing事件。 不过,重要的是要确定页面上最重要的元素(例如...
测试指标明显提高:GPT-4训练的数据量比GPT-3大得多,所以GPT-4有更多的知识是有道理的,所以他在各种测试中得到更好的指标也是理所当然。 以上这些就是一些GPT-4新的功能,这个大家应该都看过好几遍了,下面我们来...
matlab求性能指标代码碳数据资源管理器 Python API Carbon Data Explorer的 Python API for MongoDB ("flux-python-api")。 Carbon Data Explorer 已经在 MongoDB 版本 1.4.9、2.4.14 和 3.0.2 上进行了测试; 它...
上期CTP API C++ 源代码 多合约多策略版 下载文件名上期:CTP_API_C++可实盘多合约多策略版本源代码.rar 是"上期CTP_API_C++可实盘的源代码(更新).rar"的升级版 填入经纪公司代码,实盘帐号,密码即可。 可完成行情...
Grails Hibernate Metrics插件Grails插件使用Hibernate Statistics API报告一些简单的应用程序性能指标。 该插件是在引入的-演示视频可在。 请注意,此插件尚处于初期阶段,应视为实验性的。 在这一点上,我建议仅将...