背景
快手有明确的要求,准入和准出更加严格,要求有明确的测试报告。格式如下:
*本文参考字节wiki:CP侧测试报告模板(复制填写轻雀文档)
其他文章推荐:【抖音小玩法-弹幕游戏】开发者功能测试报告提交模板
一、前言
1、首次提交时,必须填写功能测试、客户端性能测试、服务端性能测试报告,建议用轻雀,不要用本地word
2、更新迭代时,重大改动,必须填写功能测试、客户端性能测试、服务端性能测试报告
3、更新迭代时,轻微改动,必须填写功能测试报告,客户端性能测试报告、服务端性能测试报告建议填写
二、功能测试
1、概述
1.1、项目背景
1.2、测试目的
1.3、测试范围
1.4、测试环境
1.5、测试版本
1.6、项目相关人员
1)项目负责人
2)产品负责人
3)开发负责人
4)测试负责人
5)测试时间
2、核心测试用例
基础checklist | ||||
模块 | 重要程度 | 用例 | 执行结果 | 玩法截图 |
开播 | 非常重要 | 通过PC伴侣正常开播 | ||
评论 | 非常重要 | 在直播间内进行评论,评论内容包含“加战队指令关键字”,加入相应战队,“红”、“蓝”两方战队都需要验证 | ||
加入战队成功后,用户名称和图像显示正确 | ||||
在直播间内进行评论,评论内容不包含“加战队指令关键字”,则不加入相应战队 | ||||
在直播间内进行评论,评论内容包含“召唤兵种关键字“,则输出对应兵种,数量和种类都需正确,且用户名称和图像显示正确 | ||||
在直播间内进行评论,评论内容不包含“召唤兵种关键字“,则不输出兵种 | ||||
点赞 | 非常重要 | 召唤兵种数量正确 | ||
召唤兵种种类正确 | ||||
用户名称和图像展示正确 | ||||
送礼 | 非常重要 | 礼物1,召唤兵种数量和种类正确,用户名称和图像展示正确 | ||
礼物2,召唤兵种数量和种类正确,用户名称和图像展示正确 | ||||
礼物3,召唤兵种数量和种类正确,用户名称和图像展示正确 | ||||
礼物4,召唤兵种数量和种类正确,用户名称和图像展示正确 | ||||
礼物5,召唤兵种数量和种类正确,用户名称和图像展示正确 | ||||
礼物6,召唤兵种数量和种类正确,用户名称和图像展示正确 | ||||
弹幕玩法中 | 非常重要 | 血量正确扣减 | ||
非常重要 | 杀敌信息正常提示 | |||
非常重要 | 视角切换、鼠标操作正常 | |||
玩法结果 | 非常重要 | 玩法结果展示正确 | ||
用户排名等信息展示正确 | ||||
排行榜 | 非常重要 | 排行榜昵称、头像等显示正常 | ||
非常重要 | 排行榜数据更新正常 | |||
非常重要 | 排行榜结算规则不是单纯以付费维度衡量,且只按单场直播维度结算 | |||
再来一局 | 非常重要 | 重新开局,正常开启 | ||
正常出兵 | ||||
UI | 重要 | 战斗通知完备(XX击败了谁;XX连杀) | ||
重要 | 系统通知完备(XX加入了蓝队;XX获得了XX;还有X秒战斗结束等) | |||
重要 | 付费通知完备( XX送出了XX礼物获得了XX,所有付费需求有外显) | |||
关闭玩法 | 重要 | 点击关闭按钮玩法可正常关闭 | ||
弹幕玩法逻辑自测 | 重要 | 由CP侧提供补充完整测试报告 | ||
新增功能回测 | ||||
重点关注:
弹幕玩法常见问题举例(重要)
弹幕玩法禁止事项(重要)
3、测试录屏
需要上传测试录频
1、PC端开播视频
2、直播间评论、点赞、送礼视频等
4、测试结论
质量评价 | ××(版本V1.0.0),部分功能未完全实现,有0.19%(3条)的用例没有通过;0%(0个)的Bug没有修复。 |
测试结论 | |
评估人员 | 测试人员:×× 开发人员:×× |
审核人员 | ×× |
三、客户端性能测试(第一次审核提交必须)
1、设备信息
1.1、PC伴侣竞品推荐弹幕玩法配置
产品 | 操作系统 | CPU | 主板 | 显卡 | 内存 | 硬盘 |
快手直播伴侣 | Windows 7/8/10 | i7-8700 | Z370 | RTX 2060 | 16GB ddr4_2666 | 512G SSD+ 1TB HDD |
抖音直播伴侣 | Windows 10/11 | i7-8700 或更高型号 | / | NVIDIA GeForce RTX 2060 或更高型号 | 16G以上 | / |
B站直播姬 | / | 英特尔酷睿i5 8400 AMD 锐龙 Ryzen5 2500x | Z370(英特尔) B450(AMD) | GTX1660 Super/RX580 及以上 | 16G以上 | / |
1.2、性能测试电脑配置
机型 | 操作系统 | CPU | 主板 | 显卡 | 内存 |
联想XX | |||||
联想XXX |
2、性能指标
2.1、指标要求
指标 | 性能基线 | 重要程度 |
FPS帧率 | >=26 (业界标准,越高越好) | 主要指标 |
卡顿率 | <=2%(业界标准,越低越好) | 主要指标 |
CPU占用率 | 60%及以下(越低越好) | 主要指标 |
GPU占用率 | **%-**%(待确定) | 次要指标 |
内存占用率 | 越低越好 | 次要指标 |
2.2、测试场景及结果
1)单一兵种
兵种 | 数量 | CPU | GPU | 内存 | FPS帧率 |
兵种1 | 10 | **% | **% | **% | 30 |
最大兵数/2 | |||||
最大兵数 | |||||
兵种2 | 10 | ||||
最大兵数/2 | |||||
最大兵数 | |||||
兵种3 | 10 | ||||
最大兵数/2 | |||||
最大兵数 | |||||
兵种4 | 10 | ||||
最大兵数/2 | |||||
最大兵数 | |||||
兵种5 | 10 | ||||
最大兵数/2 | |||||
最大兵数 | |||||
兵种6 | 10 | ||||
最大兵数/2 | |||||
最大兵数 | |||||
...... |
2)混合兵种:使用单个玩法进程最大允许兵数,按照兵种对应礼物的价格分布,比如:价格1快币、52快币、99快币、199快币、299快币、666快币,则可以大致按照6:2:1:0.5:0.025:0.025的分布
2.3、性能测试工具参考
1) Windows系统自带的任务管理器
2) Windows性能监控工具Perfmon
3) 小玩法测试指南
四、服务端性能测试(第一次审核提交必须)
1、性能要求
QPS | P995(ms) | 支持多少用户 参与弹幕玩法 | 同一时间最多兵数 | |
单个直播间压测 | >=100 | <1000 | 需要CP侧说明 | 需要CP侧说明 |
全局 | QPS | 成功率 | P995(ms) | CPU | 内存 |
支持主播<=760 | >=1000 | >=99.99% | <1000 | <=60% | <=60 |
支持主播<=2000 | >=2000 | >=99.99% | <1000 | <=60% | <=60 |
支持主播>=2000 | >=4000 | >=99.99% | <1000 | <=60% | <=60 |
2、压测结果
接口 | 服务部署及配置情况 | QPS | 成功率 | P995(ms) | CPU | 内存 | 压测结论 |
接口1 | 双机房总共40实例 XX机房:20 YY机房:20 服务实例配置 :24C、24G 数据库配置: 缓存配置: | 1000 | <=1000 ms | <=60% | <=60% | 通过 | |
接口2 |
3、压测详情
3.1、单场景(可省略)
兵种 | 最大QPS | 成功率 | TP995 | CPU使用率 | 内存使用率 |
兵种1 | |||||
兵种2 | |||||
兵种3 | |||||
兵种4 | |||||
兵种5 | |||||
兵种6 | |||||
...... |
3.2、混合场景(必须)
使用单个玩法进程最大允许兵数,按照兵种对应礼物的价格分布,比如:价格1快币、52快币、99快币、199快币、299快币、666快币,则可以大致按照6:2:1:0.5:0.025:0.025的分布(后续可以更精细化)
兵种 | 兵种1 | 兵种2 | 兵种3 | 兵种4 | 兵种5 | 兵种6 |
占比 | 60% | 20% | 10% | 5% | 2.5% | 2.5% |
4、压测监控图(必须)
5、业界参考指标
五、安全规范check(以下文档创建使用,在此处放连接即可)
直播小玩法接入小玩法安全漏洞checklist