百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

有哪些有趣的爬虫与反爬虫手段?

myzbx 2025-02-08 12:04 28 浏览

一般而言,从特点上对反爬虫手段进行细分,可以有信息校验型反爬虫、动态渲染型反爬虫、文本混淆型反爬虫、特征识别型反爬虫,等等。

其中,文本混淆反爬虫最为有趣。

知识点植入:文本混淆可以有效地避免爬虫获取Web应用中重要的文字数据。反爬虫的前提是不能影响用户正常浏览网页和阅读文字内容,直接混淆文本很容易被看出来,开发者通常是利用CSS的特性来实现混淆。

找几个常见的文本混淆手段给大家康康。

  • CSS偏移反爬虫

CSS偏移反爬虫指的是利用CSS样式将乱序的文字,排版为人类正常阅读的顺序。

比如,去哪儿网的航班查询……

你以为所爬即所见?Too young too naive!



  • SVG映射反爬虫

SVG是用于描述二维矢量图形的一种图形格式。

由于SVG中的图形代表的也是一个个文字,所以在使用时必须在后端或者前端将真实的文字与对应的SVG图形进行映射和替换,因此,这种反爬虫手段被称为SVG映射反爬虫

举个大众点评网的例子。

打开浏览器并访问:
https://www.dianping.com/shop/14741057

我们可以看一看商家电话或评分的 HTML 代码。

嘿嘿嘿,标签占位警告!Surprise~

大众点评中的商家号码并不是全部使用标签代替,其中有部分使用了数字。但是仔细观察一下就可以发现商家号码的数量等于标签数量加上数字的数量,说明标签的class 属性值与数字也有可能是一一对应的映射关系。

继续往下看,大众点评的商家营业时间部分的 HTML 代码。

原来,除了数字映射之外,还对中文进行了映射!这就给爬虫造成了很大的难度。

面对这样的问题,爬虫工程师必须找到文字映射规律,并且能够实现映射算法才能绕过这种反爬手段哦!

————

爬虫技术和反爬虫技术在不断斗争的过程中变得越来越高深与复杂,从简单的 User-Agent 识别到混淆验证码加密,“花样”越来越多,破解难度也越来越大。

想知道这些反爬虫手段怎么绕过吗?更多爬虫与反爬虫技术请见《Python3反爬虫原理与绕过实战》。以上文本混淆反爬虫的案例,都出自这本书~

作者:韦世东

  • Python 3反爬虫原理大揭秘,常见爬虫手段大集合
  • 帮你从0到1理清爬虫与反爬虫的红蓝对抗

这本书对爬虫技术与反爬虫技术的对抗过程进行了深入的研究,并详细介绍了其中的原理和具体实现方法。

最重要的是,作者针对各类反爬虫给出了对应的绕过和破解方案!

书中还提到了浏览器的基本结构、网页渲染原理、加密和混淆规范,还有很多 RFC 文档。无论是开发者还是爬虫工程师,熟读常见的 RFC 文档对工作会有很大的帮助。

对于反爬虫工程师来说,动手实践很重要。这本书特别为读者准备了一个练习平台,其中包含 21 个示例,练习平台上的示例均为本书作者编写,且与本书示例一一对应。因此,示例内容不会改动,并且无须担心相关的法律问题,这保证了大家的学习能顺利进行。

干货满满,推荐给大家。

相关推荐

零基础入门AI智能体:详细了解什么是变量类型、JSON结构、Markdown格式

当品牌跳出固有框架,以跨界联动、场景创新叩击年轻群体的兴趣点,一场关于如何在迭代中保持鲜活的探索正在展开,既藏着破圈的巧思,也映照着与新一代对话的密码。在创建AI智能体时,我们会调用插件或大模型,而在...

C# 13模式匹配:递归模式与属性模式在真实代码中的性能影响分析

C#13对模式匹配的增强让复杂数据处理代码更简洁,但递归模式与属性模式的性能差异一直是开发者关注的焦点。在实际项目中,选择合适的模式不仅影响代码可读性,还可能导致执行效率的显著差异。本文结合真实测试...

零基础快速入门 VBA 系列 6 —— 常用对象(工作簿、工作表和区域)

上一节,我介绍了VBA内置函数以及如何自动打字和自动保存文件。这一节,我们来了解一下Excel常用对象。Excel常用对象Excel有很多对象,其中最常用也最重要的包括以下3个:1.Workbo...

不同生命数字的生肖龙!准到雷普!

属龙的人总在自信爆棚和自讨苦吃之间反复横跳?看完这届龙宝宝的日常我悟了。属龙的人好像天生自带矛盾体:领导力超强可人缘时好时坏,工作雷厉风行却总在爱情里翻车。关键年份的龙性格差异更大——76年龙靠谱但不...

仓颉编程语言基础-面向对象编程-属性(Properties)

属性是仓颉颉中一种强大的机制,它允许你封装对类(或接口interface、结构体struct、枚举enum、扩展extend)内部状态的访问。它看起来像一个普通的成员变量(字段),但在其背后,它通过...

Python中class对象/属性/方法/继承/多态/魔法方法详解

一、基础入门:认识类和对象1.类和对象的概念在Python中,类(class)是一种抽象的概念,用于定义对象的属性和行为,而对象(也称为实例)则是类的具体表现。比如,“汽车”可以是一个类,它有...

VBA基础入门:搞清楚对象、属性和方法就成功了一半

如果你刚接触VBA(VisualBasicforApplications),可能会被“对象”“属性”“方法”这些术语搞得一头雾水。但事实上,这三个概念是VBA编程的基石。只要理解它们之间的关系,...

P.O类型文推荐|年度编推合集(一百九十五篇)

点击左上方关注获取更多精彩推文目录2019年度编推35篇(1V1)《悖论》作者:流苏.txt(1V1)《桂花蒸》作者:大姑娘浪.txt(1V1)《豪门浪女》作者:奚行.txt...

Python参数传递内存大揭秘:可变对象 vs 不可变对象

90%的Python程序员不知道,函数参数传递中可变对象的修改竟会导致意想不到的副作用!一、参数传递的本质:对象引用传递在Python中,所有参数传递都是对象引用的传递。这意味着函数调用时传递的不是对...

JS 开发者必看!TC39 2025 最新动向,这些新语法要火?

大家好,很高兴又见面了,我是"高级前端进阶",由我带着大家一起关注前端前沿、深入前端底层技术,大家一起进步,也欢迎大家关注、点赞、收藏、转发,您的支持是我不断创作的动力。TC39第...

2025 年值得尝试的 5 个被低估的 JavaScript 库

这些JavaScript库可能不会在社交媒体或HackerNews上流行起来,但它们会显著提高您的工作效率和代码质量。JavaScript不再只是框架。虽然React、Vue和Sv...

Python自动化办公应用学习笔记30—函数的参数

一、函数的参数1.形参:o定义:在函数定义时,声明在函数名后面括号中的变量。o作用:它们是函数内部的占位符变量,用于接收函数被调用时传入的实际值。o生命周期:在函数被调用时创建,在函数执...

16种MBTI人格全解析|测完我沉默了三秒:原来我是这样的人?

MBTI性格测试火了这么久,你还不知道自己是哪一型?有人拿它当社交话题,有人拿它分析老板性格,还有人干脆当成择偶参考表。不废话,今天我一次性给你整理全部16种MBTI人格类型!看完你不仅能知道自己是谁...

JS基础与高级应用: 性能优化

在现代Web开发中,性能优化已成为前端工程师必须掌握的核心技能之一。本文从URL输入到页面加载完成的全过程出发,深入分析了HTTP协议的演进、域名解析、代码层面性能优化以及编译与渲染的最佳实践。通过节...

爱思创CSP-J/S初赛模拟赛线上开赛!助力冲入2024年CSP-J/S复赛!

CSP-J/S组初赛模拟赛爱思创,专注信奥教育19年,2022年CSP-J/S组赛事指定考点,特邀NOIP教练,开启全真实CSP-J/S组线上初赛模拟大赛!一、比赛对象:2024年备考CSP-J/S初...