法制网站建设问卷调查,网页设计师的主要职责,国外建设工程网站,北京市住房城乡建设行业从业人员考务网站文章目录 一、从用户请求的Headers反爬虫二、基于用户行为反爬虫#xff08;1#xff09;方法1#xff08;2#xff09;方法2 三、动态页面的反爬虫四.总结 不知道你们在用爬虫爬数据的时候是否有发现#xff0c;越来越多的网站都有自己的反爬机制#xff0c;抓取数据已经… 文章目录 一、从用户请求的Headers反爬虫二、基于用户行为反爬虫1方法12方法2 三、动态页面的反爬虫四.总结 不知道你们在用爬虫爬数据的时候是否有发现越来越多的网站都有自己的反爬机制抓取数据已经不像以前那么容易目前常见的反爬机制主要有以下几种 数据是通过动态加载的比如微博今日头条b站需要登录需要验证码比如铁路12306淘宝京东请求次数频繁IP地址在同一时间访问次数过多导致IP被封数据屏蔽方式比如访问的数据不在源码中数据隐藏在js中比如今日分享b站 爬虫与反爬虫一直以来就像是左右手互博你有反爬机制我就有反反爬技术即见即可爬道高一尺魔高一丈。 今天就为大家详细介绍网站的反爬虫机制和实用的应对方法一般网站从三个方面反爬虫
1.用户请求的Headers 2.用户行为 3.网站目录和数据加载方式
前两种比较容易遇到大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用这样增大了爬取的难度防止静态爬虫使用ajax技术动态加载页面。 一、从用户请求的Headers反爬虫
这种是最常见的反爬机制在访问某些网站的时候网站通常会用判断访问是否带有头文件来鉴别该访问是否为爬虫用来作为反爬取的一种策略。
那我们就需要伪装headers。很多网站都会对Headers的User-Agent进行检测还有一部分网站会对Referer进行检测一些资源网站的防盗链就是检测Referer。 如果遇到了这类反爬虫机制可以直接在爬虫中添加Headers将浏览器的User-Agent复制到爬虫的Headers中或者将Referer值修改为目标网站域名。
往往容易被忽略通过对请求的抓包分析确定referer在程序中模拟访问请求头中添加。
对于检测Headers的反爬虫在爬虫中修改或者添加Headers就能很好的绕过。
例如打开搜狐首页先来看一下Chrome的头信息F12打开开发者模式如下 如图访问头信息中显示了浏览器以及系统的信息headers所含信息众多其中User-Agent就是用户浏览器身份的一种标识具体可自行查询
Python中urllib中的request模块提供了模拟浏览器访问的功能代码如下
from urllib import request url http://www. baidu.com
# page requestRequest (url)
# page add header ( User-Agent, Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebki
headers {User-Agent: Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebkit/537. 36}
page request Request(url, headersheaders)
page_info request urlopen(page). read().decode(utf-8)
print(page_info)可以通过add_header(key, value) 或者直接以参数的形式和URL一起请求访问
urllib.request Request()
urllib.request Request(url, dataNone, headers{}, origin req hostNone, unverifiable )其中headers是一个字典通过这种方式可以将爬虫模拟成浏览器对网站进行访问。 二、基于用户行为反爬虫
还有一部分网站是通过检测用户行为例如同一IP短时间内多次访问同一页面或者同一账户短时间内多次进行相同操作。
这种防爬需要有足够多的ip来应对。
1方法1
大多数网站都是前一种情况对于这种情况使用IP代理就可以解决。可以专门写一个爬虫爬取网上公开的代理ip检测后全部保存起来。有了大量代理ip后可以每请求几次更换一个ip这在requests或者urllib中很容易做到这样就能很容易的绕过第一种反爬虫。 编写爬虫代理
步骤 1.参数是一个字典{‘类型’‘代理ip端口号’} proxy_supporturllib.request.ProxyHandler({}) 2.定制、创建一个opener openerurllib.request.build_opener(proxy_support) 3.安装opener urllib.request.install_opener(opener) 4.调用opener opener.open(url) 用大量代理随机请求目标网站应对反爬虫
import urllib request
import random
import reurlhttp://www. whatismyip. com. tw
iplist[121.193.143.249:88,112.126.65.193:88,122.96.59.184:82,115.29.98.139:9]proxy_support urllib. request Proxyhandler({httP: random choice(iplist)})
opener urllib.request.build_opener(proxy_suppor)
opener.addheaders[( User-Agent, Mozilla/5.0(X11; Linux x86-64) AppleWebkit/537.36
urllib.request.install_opener(opener)
response urllib.request.urlopen(url)
html response.read().decode( utf-8)pattern re.compile(h1(.*?)/h1.*?h2(,*?)/h2)
itermsre.findall(pattern, html)for item in iterms:print(item[0]:item[1])2方法2
对于第二种情况可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站可以通过请求几次退出登录重新登录继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。
对于账户做防爬限制一般难以应对随机几秒请求也往往可能被封如果能有多个账户切换使用效果更佳。 三、动态页面的反爬虫
上述的几种情况大多都是出现在静态页面还有一部分网站我们需要爬取的数据是通过ajax请求得到或者通过Java生成的。
解决方案SeleniumPhantomJS
Selenium自动化web测试解决方案完全模拟真实的浏览器环境完全模拟基本上所有的用户操作
PhantomJS 一个没有图形界面的浏览器
比如获取淘宝的个人详情地址
from selenium import webdriver
import time
import re drive webdriver.PhantomJs(executable_path phantomjs-21.1-linux-x86 64/bin/phanto drive.get(https://mm. taobaocom/self/modelinfohtm? userid189942305 iscomentfal)time. sleep(5)pattern re.compile(rdiv. *? mm-p-domain-info*? classmm-p-info-cell clearfix.
html drive.page_source.encode( utf-8, ignore)
itemsre.findall(pattern, html)
for item in items:print(item[0], http:item[1])
drive.close()四.总结
最后给大家总结一下前面所讲的反爬机制应对策略反反爬 伪装浏览器 使用代理IP 抓包分析突破异步加载 / selenium自动化测试工具 添加cookie
最后嘱咐大家一句爬虫世界确实很有意思技术是无罪的学习是可以的但还是实际操作就要适可而止了不要触碰到法律的边界线。
感谢你们的阅读和喜欢我收藏了很多技术干货可以共享给喜欢我文章的朋友们如果你肯花时间沉下心去学习它们一定能帮到你干货内容包括 点击文末的名片可以抱走
