pytest测试框架pytest-rerunfailures插件重试失败用例
myzbx 2025-03-20 16:58 17 浏览
Pytest提供了丰富的插件来扩展其功能,介绍下插件pytest-rerunfailures ,用于在测试用例失败时自动重新运行这些测试用例。
pytest-rerunfailures官方显示的python和pytest版本限制:
- Python 3.8+
- pytest 7.2 或更新版本
此插件可以通过以下可选先决条件从硬崩溃中恢复:
pytest-xdist 2.3.0 或更新版本
目前最新版本是14.0,支持了pytest 8.0, 8.1版本,但是不支持最新的pytest 8.2版本,所以大家使用时要注意版本的配套,可以去官方网站(
https://pypi.org/project/pytest-rerunfailures/)上查看。(我自己在调试的时候下载的都是最新的版本,结果运行时一直不成功,将pytest8.2.2卸载然后安装8.1.2版本就成功了。)
pytest-rerunfailures安装
使用pip命令安装: pip install pytest-rerunfailures (安装在pytest工程所运行的python环境,python的安装目录或者虚拟环境目录,可以参考之前文章查看运行环境pycharm配置pytest运行环境)
通过pycharm安装:打开设置,按照如下图中安装插件(windows系统)
pytest-rerunfailures运行
重新运行所有失败用例并指定重试次数
使用--reruns命令行选项并指定希望测试用例运行的最大次数,比如命令pytest --reruns 5或者pytest --reruns=5,同时执行过程中失败的fixture函数或者setup_class也将被重新执行。
举例:设置5条用例,第5条用例通过断言assert 1 != 1时用例预期失败,然后我们重试3次,并使用pytest-html生成测试报告。
执行参数类似如下:pytest.exe -v --reruns 3 --html=report/report.html test_case.py
执行结果如下:5条用例执行耗时4.32s
执行后测试报告如下:显示第5条测试用例重新执行了3次
重新运行所有失败用例并指定延迟时间
使用--reruns-delay命令行选项,表示在启动下一次测试重新运行之前想要等待的秒数。比如pytest --reruns 5 --reruns-delay 1
举例:设置5条用例,第5条用例通过断言assert 1 != 1时用例预期失败,然后我们重试3次,每次延迟1秒,并使用pytest-html生成测试报告。
执行参数类似如下:pytest.exe -v --reruns 3 --reruns-delay 1 --html=report/report.html test_case.py
执行后预期耗时比上面的4.32s再增加3s。
实际执行后结果:确实是显示耗时7.32s,证明每次重试时都延迟了1s执行。
重新运行所有与特定表达式匹配的失败项
使用--only-rerun命令行选项表示仅重新运行与特定表达式列表匹配的失败,例如,仅重新运行与AssertionError匹配的错误:
$ pytest --reruns 5 --only-rerun AssertionError
多次传递标志会累积参数,比如以下操作只会重新运行与AssertionError或ValueError匹配的错误:
$ pytest --reruns 5 --only-rerun AssertionError --only-rerun ValueError
举例:设置5条用例,第3条用通过使用不存在的变量预期报NameError,第4条用例通过value = 1/0预期报ZeroDivisionError,第5条用例通过断言assert 1 != 1时用例预期报AssertionError
PS:第5条用例 通过assert 1 != 1会断言失败,但并不会返回AssertionError,所以重试时会捕捉不到,此时我们使用try...except语句,通过raise语句返回AssertionError。
我们重试3次,并使用pytest-html生成测试报告。
执行参数类似如下:pytest.exe -v --reruns 3 --only-rerun
AssertionError--only-rerun NameError --html=report/report.html test_case.py
执行后预期只重试第3条用例和第5条用例
实际执行后结果如预期一样。
重新运行除匹配某些表达式之外的所有失败
使用--rerun-except命令行选项仅重新运行与特定表达式列表不匹配的失败用例。例如,以下内容将仅重新运行除匹配AssertionError之外的错误:
$ pytest --reruns 5 --rerun-except AssertionError
多次传递标志会累积参数,例如下面的例子只会重新运行与AssertionError或OSError不匹配的错误:
$ pytest --reruns 5 --rerun-except AssertionError --rerun-except OSError
举例:还是使用上面定义的5条用例,我们重试3次,并使用pytest-html生成测试报告。
执行参数类似如下:pytest.exe -v --reruns 3 --rerun-except AssertionError --rerun-except NameError --html=report/report.html test_case.py
执行后预期只重试第4条用例,排除第3和第5条用例
实际执行后结果如预期一样。
使用@pytest.mark.flaky标记测试用例并在失败时重新运行
我们可以将单个测试标记为不稳定,并让它们在失败时自动重新运行,而且还可以标记重试次数和延迟时间,或者其他一些参数
以下是 @pytest.mark.flaky 的参数,以及它们的详细描述:
- reruns:当测试失败时,重新运行测试的次数。默认为 0(不重新运行)
- reruns_delay:在每次重新运行测试时的延迟时间(秒)。默认为 0(无延迟)
- condition: 配合reruns参数,当满足该条件时失败用例才被执行。
- only_rerun: 配合reruns参数,仅重新运行与特定表达式列表匹配的失败用例,可传入单个值或列表
- rerun_except:配合reruns参数,仅重新运行与特定表达式列表不匹配的失败用例,可传入单个值或列表
PS:网络上有些文章提到其他参数max_runs、min_passes、min_successes、run_with_increasing_delay等是另一个插件Flaky 的功能。
举例 在测试用例1中标记重试3次,延迟1s
@pytest.mark.flaky(reruns=3, reruns_delay=1)
def test_1():
try:
assert 1 != 1
except AssertionError:
raise AssertionError
print('\n用例test_1执行成功')
time.sleep(1)
执行命令如下:pytest.exe -v --html=report/report.html test_case.py
测试报告如下: 显示用例1被重复执行3次
那如果我们在执行命令行中还加上--reruns 3参数,结果如何?
我们执行pytest.exe -v --reruns 3 --html=report/report.html test_case.py来检验下:
结果显示: 加了参数也不会再多执行3次,两者不会冲突,加了参数只会执行那些没有被标记的失败用例。
举例:在测试用例1中标记重试3次,满足操作系统是windows32时才执行
@pytest.mark.flaky(reruns=3, condition=sys.platform.startswith("win32"))
def test_1():
try:
assert 1 != 1
except AssertionError:
raise AssertionError
print('\n用例test_1执行成功')
time.sleep(1)
执行结果如下:因为我自己的电脑是win32,所以用例会被重复执行
举例:在测试用例1中标记重试3次,满足only_rerun=["AssertionError", "NameError"])错误时才执行。
@pytest.mark.flaky(reruns=3, only_rerun=["AssertionError", "NameError"])
def test_1():
try:
assert 1 != 1
except AssertionError:
raise AssertionError
print('\n用例test_1执行成功')
time.sleep(1)
执行结果如下:因为用你预期报错AssertionError,满足条件所以用例会被重复执行
共勉: 东汉·班固《汉书·枚乘传》:“泰山之管穿石,单极之绠断干。水非石之钻,索非木之锯,渐靡使之然也。”
-----指水滴不断地滴,可以滴穿石头;
-----比喻坚持不懈,集细微的力量也能成就难能的功劳。
----感谢读者的阅读和学习,谢谢大家。
相关推荐
- 26岁中科大教授攻克世界数学难题(中科大26岁数学家)
-
硬核研究世界顶尖数学期刊发表其研究论文“陈杲特任教授年仅26岁。他2008年入读中科大少年班,2012年赴纽约州立大学石溪分校,师从陈秀雄教授攻读博士。2017年博士毕业后历任普林斯顿高等研究院博士...
- CSP-J/S倒计时 如何做好充足准备?
-
CSP-J/S计算机软件能力认证作为信奥系列赛的首场测试,重要性也就不言而喻了。初试的题目往往是被忽略的环节,但初试是进入复试必须经过之路,成绩低的话无法晋级复试,就更别提复试奖项或者晋级NOIP...
- 信息学竞赛CSP- J/S满分小学生是怎么养成的
-
2024年四川省CSP-J的复赛中,一共有11名选手拿到400分满分,其中有一名小学生,让所有人惊讶又惊喜——嘉祥成华小学六年级学生邱明夷。大家都亲切的叫他小邱邱,因为他刚来新易元学信奥的时候是小学四...
- CSP-J/S什么情况容易得零分(csp-j/s是什么意思)
-
信息學奥赛CSP复赛啊,有这几个点不注意就很容易得0分,第一点呢就是复赛采用的是oi赛制,就是说如果结束后提交代码就无法在比赛的过程中,测试你的代码是否正确,只要有一点点错误就可能会导致0分,一定要严...
- 素数分布的解析理论:π(x)、Li(x)和J(x)的严格数学框架
-
本文从解析数论视角严格阐述素数计数函数π(x)、对数积分Li(x)及黎曼素数函数J(x)之间的数学关系。通过引入黎曼ζ函数的零点分布理论,构建了素数定理的精确表达式,并给出误差项的解析结构。一、基本定...
- 陈杲一本书三年读了三遍(陈红看一本书,三天看完)
-
【陈杲一本书三年读了三遍】14岁读大学、23岁获博士学位、26岁解出J方程和超临界厄米特—杨振宁—米尔斯方程的变形这一世界难题,用数学在相对论与量子力学间架起“新桥”。“天才”陈杲说自己“天赋是有一点...
- 数学不好能学信奥吗?要提前学数学吗?一文读懂数学与信奥的关系
-
在信奥的征途上,数学不仅是基石,更是推动孩子们不断前行的动力。然而,对于小学和初中阶段的孩子来说,如何提前布局数学学习,如何平衡数学与信奥的关系,成为了家长们普遍关心的问题。本文将从实际出发,探讨信奥...
- 手术机器人如何既准确又正确(手术机器人如何既准确又正确使用)
-
日前,北京积水潭医院矫形骨科周一新教授团队提出“臼杯矢状面角度的数学转换公式”,填补了该领域的国际空白,据此揭示了统治髋关节重建领域近50年的传统安全区(Lewinek安全区)不能成立之数学原理,并进...
- 天塌了,原来无痕内衣都是用胶粘出来的?
-
无痕内衣和轻薄贴身的夏装十分相配,它平整柔软的边缘也减少了摩擦皮肤的不适感。然而,这种内衣也有一些令人担忧的传闻。有人说无痕内衣都是用“胶水”粘出来的,有人说它稍有不慎就会开胶,甚至走在路上还会突然解...
- COD 消解器回流仪操作指南:3 步完成精准水质检测
-
化学需氧量(COD)检测是水质监测的核心指标,COD消解器回流仪作为实验室标配设备,其操作规范直接决定数据准确性。本文基于2025年最新版《水质检测设备操作规范》(HJ/T399-2025),...
- 产品图多导致页面变慢?WordPress外贸站“懒加载+CDN”一做
-
“哥,我这首页产品图很多,有灯具细节、展示效果、客户实拍,一开页面就卡得一批…”一个做户外照明出口的客户说。我看了下他站,确实首页就塞了20多张大图,图又是PNG原图,有的1MB一张我用C...
- JWT:一文搞懂现代身份验证的 "数字护照"
-
什么是JWT?先看一个生活比喻假设你去图书馆借书,管理员给你一张带盖章的借阅证,上面写着你的姓名、借阅权限和有效期。每次借书时,你只需出示这张证,管理员核对盖章无误就会放行——这就是JWT(...
- JS setTimeout 的另类用法(js中settime)
-
众所周知,JS中不消耗时间的函数一般是同步的,消耗时间的函数(比如:文件操作,网络操作)一般是异步的。JS默认是单线程的,异步是通过EventLoop来完成任务列表里的任务。当你的主线程中同步过程太...
- JVM GC诡异问题排查,k8s差点害死我……
-
前言本文将通过一个真实的生产环境案例,详细展示如何系统性地排查和解决JVM垃圾收集问题。这个案例涵盖了从问题发现、分析诊断到最终解决的完整过程,对于理解JVM调优实战具有重要的参考价值。系统背景我们的...
- 任天堂Switch 2首发评测:DLSS 3.5画质提升与Joy-Con摇杆耐久测试
-
任天堂Switch2终于来了!作为老玩家,我第一时间拿到机器,重点测试了两个大家最关心的点:DLSS3.5技术对画面的增强效果,以及Joy-Con摇杆的耐用性改进。下面用大白话聊聊实测体验,帮你避...
- 一周热门
- 最近发表
- 标签列表
-
- HTML 简介 (30)
- HTML 响应式设计 (31)
- HTML URL 编码 (32)
- HTML Web 服务器 (31)
- HTML 表单属性 (32)
- HTML 音频 (31)
- HTML5 支持 (33)
- HTML API (36)
- HTML 总结 (32)
- HTML 全局属性 (32)
- HTML 事件 (31)
- HTML 画布 (32)
- HTTP 方法 (30)
- 键盘快捷键 (30)
- CSS 语法 (35)
- CSS 选择器 (30)
- CSS 轮廓宽度 (31)
- CSS 谷歌字体 (33)
- CSS 链接 (31)
- CSS 定位 (31)
- CSS 图片库 (32)
- CSS 图像精灵 (31)
- SVG 文本 (32)
- 时钟启动 (33)
- HTML 游戏 (34)