百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

小白也可以玩的Python爬虫库,收藏一下

myzbx 2025-10-19 10:02 5 浏览

最近,微软开源了一个项目叫「playwright-python」,作为一个兴起项目,

出现后受到了大家热烈的欢迎,那它到底是什么样的存在呢?今天为你介绍一

下这个传说中的小白神器。

Playwright 是针对 Python 语言的纯自动化工具,它可以通过单个API自动

执行 Chromium,Firefox 和 WebKit 浏览器,连代码都不用写,就能实现

自动化功能。

虽然测试工具 selenium 具有完备的文档,但是其学习成本让一众小白们望而

却步,对比之下 playwright-python 简直是小白们的神器。

Playwright真的适用于Python吗?答案是肯定的,微软对于适用于Python的

Playwright已准备就绪。可能会发生API重大更改。但大概率是这种情况不会

发生,微软还表示仅在他们知道它可以改善您使用新库的体验时,才会可能这

样做。不过微软也提醒尚不支持特定于供应商的API的某些极端情况,例如收集

Chromium跟踪,覆盖率报告等。

1

Playwright介绍

Playwright是一个强大的Python库,仅用一个API即可自动执行

Chromium

Firefox

WebKit等主流浏览器自动化操作,并同时支持以无头

模式、有头模式运行。

Playwright提供的自动化技术是绿色的、功能强大、可靠且快速,支持

Linux

Mac以及Windows操作系统。

还有朋友这么夸:这个项目作为针对 Python 语言纯自动化的工具,解放了代

码,实现了自动化功能,我们来看看怎么用它吧。

2

Playwright使用

安装

Playwright的安装非常简单,两步解决。

安装playwright库

pip install playwright

安装浏览器驱动文件(安装过程稍微有点慢)

python -m playwright install

复制代码

上面两个pip操作分别安装:

安装Playwright依赖库,需要Python3.7+

安装Chromium、Firefox、WebKit等浏览器的驱动文件

录制

使用Playwright无需写一行代码,我们只需手动操作浏览器,它会录制我们的

操作,然后自动生成代码脚本。

下面就是录制的命令codegen,仅仅一行。

命令行键入 --help 可看到所有选项

python -m playwright codegen

复制代码

codegen的用法可以使用--help查看,如果简单使用就是直接在命令后面加上

url链接,如果有其他需要可以添加options。

python -m playwright codegen --help

Usage: index codegen [options] [url]

open page and generate code for user actions

Options:

-

o, --output <file name> saves the generated script to a file

--

target <language> language to use, one of javascript, python, python-async, csharp (default:

-

h, --help display help for command

Examples:

$

codegen

$

codegen --target=python

$

-

b webkit codegen https://example.com

复制代码

options含义:

-

o:将录制的脚本保存到一个文件

--

target:规定生成脚本的语言,有JS和Python两种,默认为Python

-

b:指定浏览器驱动

比如,我要在baidu.com搜索,用chromium驱动,将结果保存为my.py的

python文件。

python -m playwright codegen --target python -o 'my.py' -b chromium https://www.baidu.com

复制代码

命令行输入后会自动打开浏览器,然后可以看见在浏览器上的一举一动都会被

自动翻译成代码,如下所示。

结束后自动关闭浏览器,保存生成的自动化脚本到py文件。

from playwright import sync_playwright

def run(playwright):

browser = playwright.chromium.launch(headless=False)

context = browser.newContext()

# Open new page

page = context.newPage()

page.goto("https://www.baidu.com/")

page.click("input[name="wd"]")

page.fill("input[name="wd"]", "jingdong")

page.click("text="京东"")

# Click //a[normalize-space(.)='京东JD.COM官网 多快好省 只为品质生活']

with page.expect_navigation():

with page.expect_popup() as popup_info:

page.click("//a[normalize-space(.)='京东JD.COM官网 多快好省 只为品质生活']")

page1 = popup_info.value

# ---------------------

context.close()

browser.close()

with sync_playwright() as playwright:

run(playwright

此外,playwright还提供了同步和异步的API接口,文档如下。

链接:
https://microsoft.github.io/playwright-python/index.html

同步

下面示例代码:依次打开三个浏览器,前往baidu搜索,截图后退出。

from playwright import sync_playwright

with sync_playwright() as p:

for browser

_

type in [p.chromium, p.firefox, p.webkit]:

browser = browser

_

type.launch()

page = browser.newPage()

page.goto('https://baidu.com/')

page.screenshot(path=f'example-{browser_type.name}.png')

browser.close()

复制代码

异步

异步操作可结合asyncio同时进行三个浏览器操作。

import asyncio

from playwright import async_playwright

async def main():

async with async_playwright() as p:

for browser

_

type in [p.chromium, p.firefox, p.webkit]:

browser = await browser

_

type.launch()

page = await browser.newPage()

await page.goto('http://baidu.com/')

await page.screenshot(path=f'example-{browser_type.name}.png')

await browser.close()

asyncio.get_event_loop().run_until_complete(main())

复制代码

移动端

更厉害的是,playwright还可支持移动端的浏览器模拟。下面是官方文档提供

的一段代码,模拟在给定地理位置上手机iphone 11 pro上的Safari浏览器,

首先导航到maps.google.com,然后执行定位并截图。

from playwright import sync_playwright

with sync_playwright() as p:

iphone_11 = p.devices['iPhone 11 Pro']

browser = p.webkit.launch(headless=False)

context = browser.newContext(

**iphone_11,

locale='en-US',

geolocation={ 'longitude': 12.492507, 'latitude': 41.889938 }

,

permissions=['geolocation']

)

page = context.newPage()

page.goto('https://maps.google.com')

page.click('text="Your location"')

page.screenshot(path='colosseum-iphone.png')

browser.close()

复制代码

另外,还可以配合pytest插件一起使用,感兴趣可以自己试一下。

3

总结

总结

playwright相比已有的自动化测试工具有很多优势,其中有:

支持所有浏览器的

在Chromium,Firefox和WebKit上进行测试。Playwright拥有适用于所

有现代浏览器的完整API覆盖,包括Google Chrome和Microsoft

Edge(带有Chromium),Apple Safari(带有WebKit)和Mozilla

Firefox。

跨平台的WebKit测试。使用Playwright,使用适用于Windows,Linux

和macOS的WebKit构建,测试您的应用程序在Apple Safari中的行为。

在本地和CI上进行测试。

测试手机。使用设备仿真在移动Web浏览器中测试您的自适应Web应用程

序。

无报文头与有报文头。Playwright支持所有浏览器和所有平台的无头(无

浏览器UI)和有头(有浏览器UI)模式。有报文头模式适用于调试,而无报

文头适用于CI / cloud执行。

拥有快速可靠的执行

自动等待APIs。Playwright交互会自动等待直到元素准备就绪。这样可

以提高可靠性并简化测试编写流程。

无超时自动化。Playwright会接收浏览器信号,例如网络请求,页面导

航和页面加载事件,以消除导致睡眠中断的烦恼。

与浏览器上下文保持并行。对于多个并行孤立的浏览器上下文可执行环境

重复使用一个单独的浏览器实例。

弹性元素选择器。Playwright可以依靠面向用户的字符串(例如文本内

容和可访问性标签)来选择元素。这些字符串比紧耦合到DOM结构的选择

器更具弹性。

拥有强大的自动化功能

多个域,页面和框架。Playwright是一种进程外自动化驱动程序,不受

页面内JavaScript执行范围的限制,并且可以自动执行具有多个页面的方

案。

强大的网络控制。Playwright引入上下文范围的网络拦截以便进行终止

或者模拟网络请求。

现代网络功能。Playwright通过插入阴的选择器,地理位置,权

限,Web Worker和其他现代Web API支持Web组件。

涵盖所有场景的能力。支持文件下载和上传,进程外iframe,原生输入事

件,甚至是深色模式。

但它也有局限性

旧版Edge和IE11支持。Playwright不支持旧版Microsoft Edge或

IE11(弃用通知)。支持新的Microsoft Edge(在Chromium上)。

Java语言绑定:Playwright API目前无法在Java或Ruby中使用。这是

暂时的限制,因为Playwright旨在支持任何语言的绑定。

在真实的移动设备上进行测试:Playwright使用桌面浏览器来模拟移动

设备。

虽然有一些局限,但现在playwright 已经更新到了 1.7.0 版本,随着一代代

的更新,系统也会更为完善,作为一款小白神器,为大家省了那么多事情,我

们相信它的未来会越来越好。

相关推荐

别再问Cookie了,再问就崩溃了!_别问 再问

作者:懿来自:Java极客技术说实话,之前面试都是直接去背诵的面试题,关于Cookie的一些内容,比如说,记录浏览器端的数据信息啦,Cookie的生命周期啦,这些内容,也从来没有研究过C...

5分钟学会物流轨迹地图API嵌入到页面中,实现物流轨迹可视化

前言在电子商务和在线购物日益普及的今天,为用户提供实时的物流信息已成为提升客户满意度的关键。本文将指导您如何在网页中嵌入物流轨迹地图API,以便用户能够直观地跟踪他们的包裹。1.申请接口、获取API密...

Springboot项目中几种跨域的解决方法

环境:springboot2.3.9.RELEASE什么是跨源资源共享跨源资源共享(CORS)(或通俗地译为跨域资源共享)是一种基于HTTP头的机制,该机制通过允许服务器标示除了它自己以外的其它...

基于Java实现,支持在线发布API接口读取数据库,有哪些工具?

基于java实现,不需要编辑就能发布api接口的,有哪些工具、平台?还能一键发布、快速授权和开放提供给第三方请求调用接口的解决方案。架构方案设计:以下是一些基于Java实现的无需编辑或只需少量编辑...

Axios VS Fetch, 用哪个更好?详细对比附案例

在JavaScript中进行HTTP请求时,最常用的两个工具是:原生fetchAPI流行的第三方库Axios我都在生产环境中使用过这两个工具。虽然两者都表现良好,但有时我会后悔选择了其中一个而非另一...

Ollama:Web搜索API和MCP_oalib search

如果您曾经尝试过LLM,您就会明白其中的痛点:模型在模式匹配方面非常出色,但往往会虚构一些东西。如果你问起上周发生的事情,突然间,您得到的只是来自2022年的鬼故事。这次更新改变了这一切。基本上...

基于浏览器扩展 API Mock 工具开发探索|得物技术

一、前言在日常开发过程中,偶尔会遇到后端接口未完成或者某个环境出现问题需要根据接口返回来复现等等场景。刚好最近在学习浏览器插件的相关知识,并在此背景下开发了一款基于浏览器插件的Mock工具。该工...

JavaScript动态注入的几种方法_js动态引入js

在现代的Web开发中,JavaScript动态注入是一个强大的技术,它允许开发者在网页运行时动态地修改网页内容和行为,方便进行调试和维护。动态注入通常涉及以下几个关键概念:DOM(文档对象模型)、和...

面试官:如何通过 MyBatis 查询千万数据并保证内存不溢出?

推荐学习真香警告!Alibaba珍藏版mybatis手写文档,刷起来牛掰!“基础-中级-高级”Java程序员面试集结,看完献出我的膝盖闭关28天,奉上[Java一线大厂高岗面试题解析合集],备战金九银...

nextjs教程三:获取数据_nextcloud数据迁移

数据的获取数据获取是任何应用程序中最重要的部分,本文将介绍,如何在react,nextjs中获取数据主要有种方法可以获取数据在服务端,用fetch获取数据在客户端,通过路由处理器获取数据下面分别...

Fetch API 教程_fetch_all

JavaScript初学者学完语法,进入实际的网页编程,一定有人告诉你,要掌握一个叫做XMLHttpRequest的东西。脚本都靠它发出HTTP请求,跟服务器通信。所谓的AJAX操作就是...

Mozilla火狐39.0正式版增加Emoji支持

2015-07-0310:41:43作者:李熙Mozilla旗下浏览器火狐(Firefox)39.0正式版在今日发布,新版在性能上改进不大,着重于浏览器的功能和细节改进:新版提升了Firefox...

如何设计前端监控sdk,实现前端项目全链路监控

一、埋点系统设计与实现(文章最后有如何回答)1.埋点分类1.1手动埋点(代码埋点)//业务代码中主动调用tracker.track('button_click',{&nbs...

如何快速实现一套流程编排系统,前端开发组件都有哪些,一篇搞懂

早上9点,AI产品经理紧急拉会:“我们的客户明天要看到AI审批流程原型,传统开发至少要一周,有什么办法今天就能上线?”这时,你打开流程编排画布,拖拽几个节点,连接大模型API和服务,1小时后客户竖起...

2023金九银十必看前端面试题!2w字精品!

导文2023金九银十必看前端面试题!金九银十黄金期来了想要跳槽的小伙伴快来看啊CSS1.请解释CSS的盒模型是什么,并描述其组成部分。答案:CSS的盒模型是用于布局和定位元素的概念。它由内容区域...