百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

利用python的requests库爬取图片

myzbx 2025-03-03 19:25 22 浏览


1、安装需要的各类库:

pip install requests
pip install bs4
pip install urllib

2、设置目标URL和保存路径

  • 将 url 替换为你要爬取的网站URL。
  • save_folder 是图片保存的文件夹名称

3、实例代码如下:

import os
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

# 设置目标URL和目标文件夹
url = "https://aaa.com"  # 替换为目标网站的URL
save_folder = "D:\images"  # 图片保存的文件夹

# 创建保存图片的文件夹
if not os.path.exists(save_folder):
    os.makedirs(save_folder)

# 发送HTTP请求获取网页内容
response = requests.get(url)
response.raise_for_status()  # 检查请求是否成功

# 解析网页内容
soup = BeautifulSoup(response.text, "html.parser")

# 查找所有图片标签
img_tags = soup.find_all("img")

# 遍历图片标签并下载图片
for img in img_tags:
    # 获取图片的URL
    img_url = img.get("src")
    if not img_url:
        print("未找到图片URL,跳过")
        continue

    # 处理相对路径的图片URL
    img_url = urljoin(url, img_url)

    # 获取图片文件名
    img_name = os.path.basename(img_url)

    # 下载图片
    try:
        img_data = requests.get(img_url).content
        with open(os.path.join(save_folder, img_name), "wb") as img_file:
            img_file.write(img_data)
        print(f"已下载: {img_name}")
    except Exception as e:
        print(f"下载失败: {img_url}, 错误: {e}")

print("图片下载完成!")

4、错误处理

  • 如果图片下载失败,会捕获异常并打印错误信息。
  • 注意事项

    确保你有权限爬取目标网站的内容,遵守网站的 robots.txt 文件规定。

    不要对目标网站造成过大的访问压力。

    相关推荐

    如何用5分钟开发一个 Webpack Loader?

    嗨,我是勾勾。今天分享的内容是如何开发一个简单的WebpackLoader,希望通过这个过程能够让你Get到WebpackLoader的工作原理与机制。Loader作为Webpack...

    前端——CORS跨域请求的限制与解决

    node中设置允许跨域如果需要设置多个域允许跨域,可以根据req请求的地址进行写入不同的header;consthttp=require('http')http.cre...

    5分钟看懂的WebAssembly入门指南(webassembly开发)

    子肃阿里开发者2023-06-2009:01发表于浙江阿里妹导读本文是一篇WebAssembly的入门文章,从理论介绍到实战方面有全面的讲述。历史进程由于javascript的动态类型特性...

    刚刚发布!Claude 4连续工作7小时,比Cursor、Copilot还猛?

    你见过不吃不喝、连续工作7小时的“程序员”吗?Anthropic最新发布的Claude4,不只是AI,更像是你团队里的CTO。一、什么是Claude4?别急,这不是你熟悉的GPT“亲戚”202...

    JS对象判空的几种方式,你真的会了吗?

    前言:为什么空对象检测如此重要?在开发中我们经常会遇到这样的场景:if(isEmpty(userInfo)){//跳转登录页}四种主流检测方案对比方案一:Object.keys()基础版fun...

    密码被破译,行踪被美军全程掌握,日本海军军神命丧太平洋

    【军武次位面】FriedrichLau一.突袭1941年12月7日,伴随着日军偷袭美军位于珍珠港的基地,美国也终于卷入了这场绵延全球的战火之中。为了报复日军这一行动,美军随后打出了一套组合拳,除了在太...

    提示词技术详解(2)——零样本提示词

    一、零样本提示(Zero-Shot)是一种会起到作用的办法。首先让模型重写提示词,然后把重写后的提示词再发给模型,以期提升回答效果。论文给出的提示词如下,仅供参考。给定一位用户的以下文字,提取其中不带...

    这些流行饮料的中文名称,你会说吗?

    [Photo/Pexels]Summerisinfullswing,andtheweatherishot!Tohelpyoucooldown,coldandrefre...

    密码被破译多可怕?被美军全程盯梢,日本海军军神命丧太平洋

    【军武次位面】FriedrichLau一.突袭1941年12月7日,伴随着日军偷袭美军位于珍珠港的基地,美国也终于卷入了这场绵延全球的战火之中。为了报复日军这一行动,美军随后打出了一套组合拳,除了在太...

    一课译词:刀子嘴(刀子嘴是什么)

    你身边一定有一些人,他们的言语总是那么尖锐、刺耳,但内心却又格外善良柔软,了解他们的人都知道,他们其实只是“刀子嘴,豆腐心”。“刀子嘴”,形容人说话十分刻薄(speaksarcasticallya...

    捷克插画家柯薇塔·巴可维斯卡逝世,曾为《灰姑娘》绘制插图

    柯瑞塔·巴可维斯卡。(图源:捷克共和国文化部)据捷克多家媒体消息,当地时间2月6日,捷克插画家柯薇塔·巴可维斯卡逝世,享年94岁。该消息经由她的儿子斯特潘·格里格(StěpánGrygar)证实。柯...

    网络“匿名提问箱”成年轻人社交新宠 为何这么火?

    网络“匿名提问箱”成为年轻人社交新宠“来自陌生人的关心”为什么这么火?“年度歌单里排名第一的是哪首歌?”“未来十年你的人生规划?”“有没有被甩过?”最近,这种别人能够匿名向自己提问的“提问箱”越来越得...

    美国要开始搞6G了?专家:关键技术仍在摸索

    2月21日,美国总统特朗普发推特“我希望5G乃至6G早日在美国落地”。日前,美国联邦通信委员会朝着特朗普的指示迈出了第一步,决定开放95千兆赫到3太赫兹频段,供6G实验使用。纽约大学教授泰德·拉帕波特...

    常见的连续型随机变量(1)(连续型随机变量的定义与性质)

    1.均匀分布在概率论和统计学中,均匀分布也叫矩形分布,它是对称概率分布,在相同长度间隔的分布概率是等可能的。均匀分布由两个参数a和b定义,它们是数轴上的最小值和最大值,通常缩写为U(a,b)。统计...

    身高表上的-2SD、-1SD、中位数.....都是啥?和百分位有关系吗?

    上周日晚,小编正气呼呼地和娃上演“作业拉锯战”时,“叮”的一声,一条微信发了过来。无独有偶,第二天又有朋友发来门诊记录,不知道SD什么意思。从家长应用的角度来看,无需太纠结,根据个人习惯选择即可。从生...