pytest测试框架pytest-rerunfailures插件重试失败用例
myzbx 2025-03-20 16:58 18 浏览
Pytest提供了丰富的插件来扩展其功能,介绍下插件pytest-rerunfailures ,用于在测试用例失败时自动重新运行这些测试用例。
pytest-rerunfailures官方显示的python和pytest版本限制:
- Python 3.8+
- pytest 7.2 或更新版本
此插件可以通过以下可选先决条件从硬崩溃中恢复:
pytest-xdist 2.3.0 或更新版本
目前最新版本是14.0,支持了pytest 8.0, 8.1版本,但是不支持最新的pytest 8.2版本,所以大家使用时要注意版本的配套,可以去官方网站(
https://pypi.org/project/pytest-rerunfailures/)上查看。(我自己在调试的时候下载的都是最新的版本,结果运行时一直不成功,将pytest8.2.2卸载然后安装8.1.2版本就成功了。)
pytest-rerunfailures安装
使用pip命令安装: pip install pytest-rerunfailures (安装在pytest工程所运行的python环境,python的安装目录或者虚拟环境目录,可以参考之前文章查看运行环境pycharm配置pytest运行环境)
通过pycharm安装:打开设置,按照如下图中安装插件(windows系统)
pytest-rerunfailures运行
重新运行所有失败用例并指定重试次数
使用--reruns命令行选项并指定希望测试用例运行的最大次数,比如命令pytest --reruns 5或者pytest --reruns=5,同时执行过程中失败的fixture函数或者setup_class也将被重新执行。
举例:设置5条用例,第5条用例通过断言assert 1 != 1时用例预期失败,然后我们重试3次,并使用pytest-html生成测试报告。
执行参数类似如下:pytest.exe -v --reruns 3 --html=report/report.html test_case.py
执行结果如下:5条用例执行耗时4.32s
执行后测试报告如下:显示第5条测试用例重新执行了3次
重新运行所有失败用例并指定延迟时间
使用--reruns-delay命令行选项,表示在启动下一次测试重新运行之前想要等待的秒数。比如pytest --reruns 5 --reruns-delay 1
举例:设置5条用例,第5条用例通过断言assert 1 != 1时用例预期失败,然后我们重试3次,每次延迟1秒,并使用pytest-html生成测试报告。
执行参数类似如下:pytest.exe -v --reruns 3 --reruns-delay 1 --html=report/report.html test_case.py
执行后预期耗时比上面的4.32s再增加3s。
实际执行后结果:确实是显示耗时7.32s,证明每次重试时都延迟了1s执行。
重新运行所有与特定表达式匹配的失败项
使用--only-rerun命令行选项表示仅重新运行与特定表达式列表匹配的失败,例如,仅重新运行与AssertionError匹配的错误:
$ pytest --reruns 5 --only-rerun AssertionError
多次传递标志会累积参数,比如以下操作只会重新运行与AssertionError或ValueError匹配的错误:
$ pytest --reruns 5 --only-rerun AssertionError --only-rerun ValueError
举例:设置5条用例,第3条用通过使用不存在的变量预期报NameError,第4条用例通过value = 1/0预期报ZeroDivisionError,第5条用例通过断言assert 1 != 1时用例预期报AssertionError
PS:第5条用例 通过assert 1 != 1会断言失败,但并不会返回AssertionError,所以重试时会捕捉不到,此时我们使用try...except语句,通过raise语句返回AssertionError。
我们重试3次,并使用pytest-html生成测试报告。
执行参数类似如下:pytest.exe -v --reruns 3 --only-rerun
AssertionError--only-rerun NameError --html=report/report.html test_case.py
执行后预期只重试第3条用例和第5条用例
实际执行后结果如预期一样。
重新运行除匹配某些表达式之外的所有失败
使用--rerun-except命令行选项仅重新运行与特定表达式列表不匹配的失败用例。例如,以下内容将仅重新运行除匹配AssertionError之外的错误:
$ pytest --reruns 5 --rerun-except AssertionError
多次传递标志会累积参数,例如下面的例子只会重新运行与AssertionError或OSError不匹配的错误:
$ pytest --reruns 5 --rerun-except AssertionError --rerun-except OSError
举例:还是使用上面定义的5条用例,我们重试3次,并使用pytest-html生成测试报告。
执行参数类似如下:pytest.exe -v --reruns 3 --rerun-except AssertionError --rerun-except NameError --html=report/report.html test_case.py
执行后预期只重试第4条用例,排除第3和第5条用例
实际执行后结果如预期一样。
使用@pytest.mark.flaky标记测试用例并在失败时重新运行
我们可以将单个测试标记为不稳定,并让它们在失败时自动重新运行,而且还可以标记重试次数和延迟时间,或者其他一些参数
以下是 @pytest.mark.flaky 的参数,以及它们的详细描述:
- reruns:当测试失败时,重新运行测试的次数。默认为 0(不重新运行)
- reruns_delay:在每次重新运行测试时的延迟时间(秒)。默认为 0(无延迟)
- condition: 配合reruns参数,当满足该条件时失败用例才被执行。
- only_rerun: 配合reruns参数,仅重新运行与特定表达式列表匹配的失败用例,可传入单个值或列表
- rerun_except:配合reruns参数,仅重新运行与特定表达式列表不匹配的失败用例,可传入单个值或列表
PS:网络上有些文章提到其他参数max_runs、min_passes、min_successes、run_with_increasing_delay等是另一个插件Flaky 的功能。
举例 在测试用例1中标记重试3次,延迟1s
@pytest.mark.flaky(reruns=3, reruns_delay=1)
def test_1():
try:
assert 1 != 1
except AssertionError:
raise AssertionError
print('\n用例test_1执行成功')
time.sleep(1)
执行命令如下:pytest.exe -v --html=report/report.html test_case.py
测试报告如下: 显示用例1被重复执行3次
那如果我们在执行命令行中还加上--reruns 3参数,结果如何?
我们执行pytest.exe -v --reruns 3 --html=report/report.html test_case.py来检验下:
结果显示: 加了参数也不会再多执行3次,两者不会冲突,加了参数只会执行那些没有被标记的失败用例。
举例:在测试用例1中标记重试3次,满足操作系统是windows32时才执行
@pytest.mark.flaky(reruns=3, condition=sys.platform.startswith("win32"))
def test_1():
try:
assert 1 != 1
except AssertionError:
raise AssertionError
print('\n用例test_1执行成功')
time.sleep(1)
执行结果如下:因为我自己的电脑是win32,所以用例会被重复执行
举例:在测试用例1中标记重试3次,满足only_rerun=["AssertionError", "NameError"])错误时才执行。
@pytest.mark.flaky(reruns=3, only_rerun=["AssertionError", "NameError"])
def test_1():
try:
assert 1 != 1
except AssertionError:
raise AssertionError
print('\n用例test_1执行成功')
time.sleep(1)
执行结果如下:因为用你预期报错AssertionError,满足条件所以用例会被重复执行
共勉: 东汉·班固《汉书·枚乘传》:“泰山之管穿石,单极之绠断干。水非石之钻,索非木之锯,渐靡使之然也。”
-----指水滴不断地滴,可以滴穿石头;
-----比喻坚持不懈,集细微的力量也能成就难能的功劳。
----感谢读者的阅读和学习,谢谢大家。
相关推荐
- 任天堂Switch OLED:一块沉浸屏,点燃全家欢乐的游戏时光
-
在一个寻常的周末午后,客厅里弥漫着轻松惬意的氛围。电视屏幕暂时休眠,全家人的目光却聚焦在那台轻巧的掌上设备——任天堂SwitchOLED。父母与孩子挤在沙发上,指尖在Joy-Con手柄上跃动,时而因...
- Switch是什么地区的版本?怎么分辨Switch普通版和续航版、OLED版
-
Switch有国行、港版、日版、美版、欧版、韩版,版本之间又有普通版和续航版的OLED区别。只要看掌机的序列号第二三位,第二位代表的机型,A是普通版,K是续航版,T是OLED版。第三位代表的是区域,比...
- 这款Switch手柄真别致!开箱体验八位堂Lite蓝牙手柄
-
【引言】Hi大家好,我是歌布林,今天给大家带来一款八位堂Lite蓝牙手柄的开箱报告!相信已经有不少Switch玩家已经入手了这款产品,讲真,这款手柄的颜值真的吸引到我了~双十一旗舰各大快递公...
- switch 的性能提升了 3 倍,我只用了这一招
-
上一篇《if快还是switch快?解密switch背后的秘密》我们测试了if和switch的性能,得出了要尽量使用switch的结论,因为他的效率比if高很多,具体原因点击上文查看。既...
- 在对《Nintendo Switch 运动》充满期待的同时,我也有些许不安
-
任天堂「运动」系列的最新作《NintendoSwitch运动》即将于4月29日正式发售。在等待本作发售的日子里,笔者每一天都在掰着指头计算发售日还有几天才到来。在《NintendoSwi...
- switch上最值得玩的五款JRPG(switch最值得玩的大作)
-
不知道为什么即使现在节奏变得这么快,人也变得浮躁,我依旧喜欢玩JPRG,喜欢沉浸入游戏的角色之中体验一场独特的冒险。JRPG的灵魂是什么?那绝对不是回合制战斗或者古旧的系统,而是令人深刻的剧情及在这漫...
- 那个 Vue 的路由,路由是干什么用的?
-
在Vue里,路由就像“页面导航的指挥官”,专门负责管理页面(组件)的切换和显示逻辑。简单来说,它能让单页应用(SPA)像多页应用一样实现“不同URL对应不同页面”的效果,但整个过程不会刷新网页。一、路...
- S235JRH材50x50x3-5mm欧标方管疲劳强度分析
-
在工程与建筑领域,方管作为一种重要的结构材料,广泛应用于各种框架和支撑结构中。S235JRH材质的50x50x3-5mm欧标方管在疲劳强度方面的表现尤其受到关注。本文将以“解答常见误区”的形式,分析该...
- 纤维丛上的联络与曲率关系之二:七个联络
-
参阅一文看懂纤维丛(看图说话)纤维丛上的联络与曲率关系之一1.仿射联络(AffineConnection)定义:在光滑流形M的切丛TM上,一个仿射联络是一个双线性映射:仿射联络定义了向量...
- 安全完整性等级(SIL)分析报告编制与认证实践方法
-
以下是一篇关于安全完整性等级(SIL)分析报告的文章,涵盖SIL定级方法、验证流程、计算模型及工程实践。安全完整性等级(SIL)是量化安全仪表系统(SIS)性能的核心指标,由IEC61508/615...
- 欧标方管75x75x3mm8mm S355J0H力学性能测试
-
欧标方管75x75x3mmS355J0H是一种常见的钢管材料,广泛应用于建筑、机械制造和结构工程等领域。下面将对其力学性能进行详细测试和分析。1.材料概述S355J0H是欧洲标准EN10210中规定的...
- p光与s光在SHG中的相位匹配中有哪些不同?
-
【第六期】p光与s光在SHG中的相位匹配中有哪些不同?在二次谐波生成(SHG)中,p偏振光和s偏振光的相位匹配条件存在显著差异。这些差异主要源于它们与纳米结构相互作用的方式以及它们在激发表面等离子体共...
- S355JRH欧标方管机械性能及工程应用解析
-
S355JRH欧标方管是一种高强度钢管,以其优良的机械性能和良好的加工性在工程领域得到广泛应用。本文将从机械性能、场景应用等方面对S355JRH欧标方管进行解析,以帮助读者更好地理解其特性及应用。1....
- 《三国志·战棋版》PK7黄天蔽汉,四队共存作业来啦!
-
哈喽大家好啊,今天要给大家分享的是三棋PK7黄天蔽汉平时四队共存队,这只是其中一种选择供大家参考,后面可能还会分享其他的四队共存方案。队伍共存绝不唯一,大家有什么好的共存方案或者想看哪些队伍的共存也欢...
- 迈阿密三大巨星首秀被0-0逼平,豪阵为何难赢开罗国民
-
谁能想到,汇聚梅西、苏亚雷斯、布斯克茨这“银河战舰”级别三巨头,迈阿密国际世俱杯首秀居然0-0被埃及劲旅开罗国民逼平?全场90分钟,球迷的心情从“期待冠军”一路跌到“差点开门黑”。补时第96分钟,梅西...
- 一周热门
- 最近发表
- 标签列表
-
- HTML 简介 (30)
- HTML 响应式设计 (31)
- HTML URL 编码 (32)
- HTML Web 服务器 (31)
- HTML 表单属性 (32)
- HTML 音频 (31)
- HTML5 支持 (33)
- HTML API (36)
- HTML 总结 (32)
- HTML 全局属性 (32)
- HTML 事件 (31)
- HTML 画布 (32)
- HTTP 方法 (30)
- 键盘快捷键 (30)
- CSS 语法 (35)
- CSS 选择器 (30)
- CSS 轮廓宽度 (31)
- CSS 谷歌字体 (33)
- CSS 链接 (31)
- CSS 定位 (31)
- CSS 图片库 (32)
- CSS 图像精灵 (31)
- SVG 文本 (32)
- 时钟启动 (33)
- HTML 游戏 (34)