pytest测试框架pytest-rerunfailures插件重试失败用例
myzbx 2025-03-20 16:58 26 浏览
Pytest提供了丰富的插件来扩展其功能,介绍下插件pytest-rerunfailures ,用于在测试用例失败时自动重新运行这些测试用例。
pytest-rerunfailures官方显示的python和pytest版本限制:
- Python 3.8+
- pytest 7.2 或更新版本
此插件可以通过以下可选先决条件从硬崩溃中恢复:
pytest-xdist 2.3.0 或更新版本
目前最新版本是14.0,支持了pytest 8.0, 8.1版本,但是不支持最新的pytest 8.2版本,所以大家使用时要注意版本的配套,可以去官方网站(
https://pypi.org/project/pytest-rerunfailures/)上查看。(我自己在调试的时候下载的都是最新的版本,结果运行时一直不成功,将pytest8.2.2卸载然后安装8.1.2版本就成功了。)
pytest-rerunfailures安装
使用pip命令安装: pip install pytest-rerunfailures (安装在pytest工程所运行的python环境,python的安装目录或者虚拟环境目录,可以参考之前文章查看运行环境pycharm配置pytest运行环境)
通过pycharm安装:打开设置,按照如下图中安装插件(windows系统)
pytest-rerunfailures运行
重新运行所有失败用例并指定重试次数
使用--reruns命令行选项并指定希望测试用例运行的最大次数,比如命令pytest --reruns 5或者pytest --reruns=5,同时执行过程中失败的fixture函数或者setup_class也将被重新执行。
举例:设置5条用例,第5条用例通过断言assert 1 != 1时用例预期失败,然后我们重试3次,并使用pytest-html生成测试报告。
执行参数类似如下:pytest.exe -v --reruns 3 --html=report/report.html test_case.py
执行结果如下:5条用例执行耗时4.32s
执行后测试报告如下:显示第5条测试用例重新执行了3次
重新运行所有失败用例并指定延迟时间
使用--reruns-delay命令行选项,表示在启动下一次测试重新运行之前想要等待的秒数。比如pytest --reruns 5 --reruns-delay 1
举例:设置5条用例,第5条用例通过断言assert 1 != 1时用例预期失败,然后我们重试3次,每次延迟1秒,并使用pytest-html生成测试报告。
执行参数类似如下:pytest.exe -v --reruns 3 --reruns-delay 1 --html=report/report.html test_case.py
执行后预期耗时比上面的4.32s再增加3s。
实际执行后结果:确实是显示耗时7.32s,证明每次重试时都延迟了1s执行。
重新运行所有与特定表达式匹配的失败项
使用--only-rerun命令行选项表示仅重新运行与特定表达式列表匹配的失败,例如,仅重新运行与AssertionError匹配的错误:
$ pytest --reruns 5 --only-rerun AssertionError
多次传递标志会累积参数,比如以下操作只会重新运行与AssertionError或ValueError匹配的错误:
$ pytest --reruns 5 --only-rerun AssertionError --only-rerun ValueError
举例:设置5条用例,第3条用通过使用不存在的变量预期报NameError,第4条用例通过value = 1/0预期报ZeroDivisionError,第5条用例通过断言assert 1 != 1时用例预期报AssertionError
PS:第5条用例 通过assert 1 != 1会断言失败,但并不会返回AssertionError,所以重试时会捕捉不到,此时我们使用try...except语句,通过raise语句返回AssertionError。
我们重试3次,并使用pytest-html生成测试报告。
执行参数类似如下:pytest.exe -v --reruns 3 --only-rerun
AssertionError--only-rerun NameError --html=report/report.html test_case.py
执行后预期只重试第3条用例和第5条用例
实际执行后结果如预期一样。
重新运行除匹配某些表达式之外的所有失败
使用--rerun-except命令行选项仅重新运行与特定表达式列表不匹配的失败用例。例如,以下内容将仅重新运行除匹配AssertionError之外的错误:
$ pytest --reruns 5 --rerun-except AssertionError
多次传递标志会累积参数,例如下面的例子只会重新运行与AssertionError或OSError不匹配的错误:
$ pytest --reruns 5 --rerun-except AssertionError --rerun-except OSError
举例:还是使用上面定义的5条用例,我们重试3次,并使用pytest-html生成测试报告。
执行参数类似如下:pytest.exe -v --reruns 3 --rerun-except AssertionError --rerun-except NameError --html=report/report.html test_case.py
执行后预期只重试第4条用例,排除第3和第5条用例
实际执行后结果如预期一样。
使用@pytest.mark.flaky标记测试用例并在失败时重新运行
我们可以将单个测试标记为不稳定,并让它们在失败时自动重新运行,而且还可以标记重试次数和延迟时间,或者其他一些参数
以下是 @pytest.mark.flaky 的参数,以及它们的详细描述:
- reruns:当测试失败时,重新运行测试的次数。默认为 0(不重新运行)
- reruns_delay:在每次重新运行测试时的延迟时间(秒)。默认为 0(无延迟)
- condition: 配合reruns参数,当满足该条件时失败用例才被执行。
- only_rerun: 配合reruns参数,仅重新运行与特定表达式列表匹配的失败用例,可传入单个值或列表
- rerun_except:配合reruns参数,仅重新运行与特定表达式列表不匹配的失败用例,可传入单个值或列表
PS:网络上有些文章提到其他参数max_runs、min_passes、min_successes、run_with_increasing_delay等是另一个插件Flaky 的功能。
举例 在测试用例1中标记重试3次,延迟1s
@pytest.mark.flaky(reruns=3, reruns_delay=1)
def test_1():
try:
assert 1 != 1
except AssertionError:
raise AssertionError
print('\n用例test_1执行成功')
time.sleep(1)
执行命令如下:pytest.exe -v --html=report/report.html test_case.py
测试报告如下: 显示用例1被重复执行3次
那如果我们在执行命令行中还加上--reruns 3参数,结果如何?
我们执行pytest.exe -v --reruns 3 --html=report/report.html test_case.py来检验下:
结果显示: 加了参数也不会再多执行3次,两者不会冲突,加了参数只会执行那些没有被标记的失败用例。
举例:在测试用例1中标记重试3次,满足操作系统是windows32时才执行
@pytest.mark.flaky(reruns=3, condition=sys.platform.startswith("win32"))
def test_1():
try:
assert 1 != 1
except AssertionError:
raise AssertionError
print('\n用例test_1执行成功')
time.sleep(1)
执行结果如下:因为我自己的电脑是win32,所以用例会被重复执行
举例:在测试用例1中标记重试3次,满足only_rerun=["AssertionError", "NameError"])错误时才执行。
@pytest.mark.flaky(reruns=3, only_rerun=["AssertionError", "NameError"])
def test_1():
try:
assert 1 != 1
except AssertionError:
raise AssertionError
print('\n用例test_1执行成功')
time.sleep(1)
执行结果如下:因为用你预期报错AssertionError,满足条件所以用例会被重复执行
共勉: 东汉·班固《汉书·枚乘传》:“泰山之管穿石,单极之绠断干。水非石之钻,索非木之锯,渐靡使之然也。”
-----指水滴不断地滴,可以滴穿石头;
-----比喻坚持不懈,集细微的力量也能成就难能的功劳。
----感谢读者的阅读和学习,谢谢大家。
相关推荐
- 油猴脚本:净化微博界面,聚焦核心内容
-
在信息过载的社交场景中,微博原生界面的推荐流、视频入口、游戏标签及无障碍图标,常分散用户注意力,影响内容浏览效率。【移除微博推荐、视频、游戏标签和无障碍图标】油猴脚本,以精准界面优化能力,为用户打造...
- 一个月快速学习前端开发入门与学习计划,技能也能变成钱
-
快速学习前端开发(HTML/CSS/JavaScript),核心是“先搭框架、再填细节、边学边练”,按以下3步走,能高效入门:“基础→实战→进阶”为逻辑,每天学习+练习时长建议2-3小时,重点围绕“...
- HTML5 header标签的定义与规定_html中header标签的作用
-
提示:点击上方"蓝色字体"↑可以订阅噢!<header>标签定义文档的页面组合,通常是一些引导和导航信息(DOM接口、可设置属性)。<header>标签定义文档的页眉(介绍信...
- CSS 电梯:纯 CSS 实现的状态机与楼层导航
-
点击关注公众号,“技术干货”及时达!作为一个对状态机痴迷的开发者,我常常会被一些文章点燃灵感,比如那篇《用HTML复选框和CSS打造完整状态机》。纯CSS驱动的状态机...
- Vue.js源码全方位深入解析,快人一步进名企
-
Vue.js源码全方位深入解析,快人一步进名企来百度APP畅享高清图片//下栽のke:chaoxingit.com/512/Vue.js源码全方位深入解析,快人一步进名企随着互联网技术的不断发展,前端...
- 你真的会用setState吗?_setstate用法
-
setState函数是什么?1.将需要处理的变化塞入组建的state对象中2.告诉该组件及其子组件需要用更新的状态来重新渲染3.响应事件处理和服务端响应更新用户界面的主要方式setState经典...
- React 事件机制原理_react案例
-
相关问题React合成事件与原生DOM事件的区别React如何注册和触发事件React事件如何解决浏览器兼容问题回答关键点React的事件处理机制可以分为两个阶段:初始化渲染时在root...
- Vue 侦听器(watch 与 watchEffect)全解析1
-
在Vue组合式API中,当我们需要在响应式状态变化时执行“副作用”(如操作DOM、发起异步请求、修改其他状态等),watch和watchEffect是核心工具。它们能帮我们精准捕获状态...
- Github 45.9K,一款助你用 HTML 实现现代Web交互神器,开发效率飙升
-
在前端技术日新月异的今天,React、Vue、Angular等大型框架几乎成为Web开发的标配。你是否曾经因为这些复杂的工具链、繁琐的配置和“JavaScript疲劳”而感到力不从心?有没有想...
- Wijmo5 Flexgrid基础教程:动态加载右键菜单
-
WijmoEnterprise下载>在上文中我们介绍了使用wijmo3的menu给flexgrid做右键菜单。本文我们就在这个基础上,介绍如何动态的给flexgrid添加右键菜单。本文的右键菜...
- 实战 | 基于Vue语言的企业级前端开发框架Hui的应用研究
-
文/华夏银行乌鲁木齐分行信息科技部张文涛随着前端技术的迅速发展,开发模式也在不断演进。早期的Web页面由服务器端生成,浏览器负责展现,前后端高度耦合,导致业务逻辑与展现逻辑混杂在一起,代码可维护...
- Vue渲染器解析_vue渲染函数实战
-
渲染器是Vue与浏览器之间的「翻译官」。它拿到一份用JavaScript对象描述的UI(虚拟DOM),然后精准地创建、更新、销毁真实DOM,同时把响应式数据和渲染函数绑定成一条自动刷新的...
- 如何实现 Vue 自定义组件中 hover 事件以及 v-model
-
在CSS中,很容易在鼠标hover时进行更改,只需:.item{background:blue;}.item:hover{background:green;}在Vue中,它...
- Pydoll:更流畅可靠的浏览器自动化
-
无论是数据抓取,还是自动化AI助手,或是网页测试,浏览器自动化技术都是能在其中发挥关键作用的一环。然而,传统的浏览器自动化工具往往依赖于复杂的WebDriver配置,这不仅增加了使用的难度,还...
- web前端tips:js的事件循环(Event Loop)
-
一、介绍1.什么是js的事件循环JavaScript事件循环是一种处理异步事件和回调函数的机制,它是JavaScript实现异步编程的核心。它在浏览器或Node.js环境中运行,用于管理任务队列和调...
- 一周热门
- 最近发表
- 标签列表
-
- HTML 简介 (30)
- HTML 响应式设计 (31)
- HTML URL 编码 (32)
- HTML Web 服务器 (31)
- HTML 表单属性 (32)
- HTML 音频 (31)
- HTML5 支持 (33)
- HTML API (36)
- HTML 总结 (32)
- HTML 全局属性 (32)
- HTML 事件 (31)
- HTML 画布 (32)
- HTTP 方法 (30)
- 键盘快捷键 (30)
- CSS 语法 (35)
- CSS 轮廓宽度 (31)
- CSS 谷歌字体 (33)
- CSS 链接 (31)
- CSS 定位 (31)
- CSS 图片库 (32)
- CSS 图像精灵 (31)
- SVG 文本 (32)
- 时钟启动 (33)
- HTML 游戏 (34)
- JS Loop For (32)