做网站用什么笔记本,wordpress图片本地,工业品电商平台排行榜,06627网页制作与网站建设文章目录 前言爬虫总复习工具解析与提取#xff08;一#xff09;解析与提取#xff08;二#xff09;更厉害的请求存储更多的爬虫更强大的爬虫——框架给爬虫加上翅膀 爬虫进阶路线指引解析与提取 存储数据分析与可视化更多的爬虫更强大的爬虫——框架项目训练 反爬虫应对… 文章目录 前言爬虫总复习工具解析与提取一解析与提取二更厉害的请求存储更多的爬虫更强大的爬虫——框架给爬虫加上翅膀 爬虫进阶路线指引解析与提取 存储数据分析与可视化更多的爬虫更强大的爬虫——框架项目训练 反爬虫应对策略汇总写在最后的话 前言
很开心能和你在第16关相逢。至此你已经完成所有关卡的知识学习恭喜
但这并不意味着这一关就可以敷衍相待因为我们依然有非常重要的事情尚待完成。
我们会对过往的爬虫知识进行一个总复习搭建起知识框架。当你在后面拿到任何一个爬虫需求都能做到心中有数不慌张。
和许多学科一样爬虫也是学个入门够用但较起真来它也学无止境。所以我会为你提供进阶学习的路线指引——如果想要继续在爬虫上有所精进还可以学哪些内容。
而有爬虫自然会有反爬虫。我们集中来讲讲有哪些反爬虫的手段又有哪些应对反爬虫的策略。
我又始终相信每一门学科都会有一个超越它本身的精神内核如果只是掌握技能而不能发现学科之美实在太可惜。所以在本关卡的最后我留了一封短短的信给你讲讲这门课背后的事。
我们现在就开始。
爬虫总复习
我还记得事情是从这张图开始的它被用来描述浏览器的工作原理 请求和响应。这两件事几乎构成了我们后面的所有学习内容。
在第0关我们说爬虫就是利用程序在网上拿到对我们有用的数据。程序所做的最关键步骤正是“请求”和“响应”。
据此我们定义了“爬虫四步”获取数据包含请求和响应两个动作、解析数据、提取数据、存储数据。 同时我们还学了最简单的请求方式requests.get()
import requestsurl
response requests.get(url)工具
工欲善其事必先利其器我们需要一个工具在它的帮助下我们能看到所有的请求这样我们才能完成爬虫四步。这个工具叫做Network。
Network能够记录浏览器的所有请求。我们最常用的是ALL查看全部/XHR仅查看XHR/DocDocument第0个请求一般在这里有时候也会看看Img仅查看图片/Media仅查看媒体文件/Other其他。最后JS和CSS则是前端代码负责发起请求和页面实现Font是文字的字体而理解WS和Manifest需要网络编程的知识倘若不是专门这个你不需要了解。 它们组成Elements中的所有内容也就是你平时所见的网页万紫千红。
在爬虫里我们最常用的是XHR和Doc。我们能在Doc里找到一个网页的源代码而在网页源代码里找不到的信息通常你都能在XHR里找到。有它的存在人们不必刷新/跳转网页即可加载新的内容。在今天已经学过“同步/异步”概念的你也可以说XHR帮我们实现了异步请求。
而数据究竟是藏身何处在第6关我们提供了一个方案 花开两朵各表一枝。
解析与提取一
当数据藏匿于网页源代码我们自有一条完整的“爬虫四步”链在这里最重要的库叫BeautifulSoup它能提供一套完整的数据解析、数据提取解决方案。用法如下 我们能写出类似这样的代码
import requests
# 引用requests库
from bs4 import BeautifulSoup
# 引用BeautifulSoup库res_foods requests.get(http://www.xiachufang.com/explore/)
# 获取数据
bs_foods BeautifulSoup(res_foods.text,html.parser)
# 解析数据tag_name bs_foods.find_all(p,class_name)
# 查找包含菜名和URL的p标签
tag_ingredients bs_foods.find_all(p,class_ing ellipsis)
# 查找包含食材的p标签
list_all []
# 创建一个空列表用于存储信息
for x in range(len(tag_name)):
# 启动一个循环次数等于菜名的数量list_food [tag_name[x].text[18:-15],tag_name[x].find(a)[href],tag_ingredients[x].text[1:-1]]# 提取信息封装为列表 list_all.append(list_food)# 将信息添加进list_all
print(list_all)
# 打印# 以下是另外一种解法list_foods bs_foods.find_all(div,class_info pure-u)
# 查找最小父级标签list_all []
# 创建一个空列表用于存储信息for food in list_foods:tag_a food.find(a)# 提取第0个父级标签中的a标签name tag_a.text[18:-15]# 菜名使用[18:-15]切掉了多余的信息URL http://www.xiachufang.comtag_a[href]# 获取URLtag_p food.find(p,class_ing ellipsis)# 提取第0个父级标签中的p标签ingredients tag_p.text[1:-1]# 食材使用[1:-1]切掉了多余的信息list_all.append([name,URL,ingredients])# 将菜名、URL、食材封装为列表添加进list_allprint(list_all)
# 打印在此我想额外强调的是编码问题即便是许多爬虫老手也常常会在编码上重重地栽跟头所以你不要也犯错。当response.text自动解码出问题不要犹豫自己动手使用response.encoding来对编码进行修改。
解析与提取二
我们来看事情的另一端——当数据在XHR中现身。
XHR所传输的数据最重要的一种是用json格式写成的和html一样这种数据能够有组织地存储大量内容。json的数据类型是“文本”在Python语言当中我们把它称为字符串。我们能够非常轻易地将json格式的数据转化为列表/字典也能将字典/列表转为json格式的数据。
如何解析json数据答案如下 提取自然是不难的毕竟都已经变成列表/字典。你对列表/字典驾轻就熟。最后你的脑海中多了这样一张图 更厉害的请求
有趣的是请求本身。在过往的学习里你的requests.get()里面其实只有一个参数即url。
但其实这个请求可以有多个参数。
params可以让我们带着参数来请求数据我想要第几页我想要搜索的关键词我想要多少个数据
headers请求头。它告诉服务器我的设备/浏览器是什么我从哪个页面而来
再往后你发现除了get请求之外还存在着另一种请求方式——post。post区别于get的是get是明文显示参数post是非明文显示参数。学会post你又有两个参数可用
在post请求里我们使用data来传递参数其用法和params非常相像。
cookies中文名很好听是“小饼干”。但它却和“小饼干”并无关联。它的作用是让服务器“记住你”比如一般当你登录一个网站你都会在登录页面看到一个可勾选的选项“记住我”。如果你点了勾选服务器就会生成一个cookies和你的账号绑定。接着它把这个cookies告诉你的浏览器让浏览器把cookies存储到你的本地电脑。当下一次浏览器带着cookies访问博客服务器会知道你是何人你不需要再重复输入账号密码就能直接访问。
到这考虑极端情况。你的代码可能会写成这个模样
import requests# 定义url_1headers和data
url_1 https://…
headers {user-agent:}
data {}login_in requests.post(url,headersheaders,datadata)
cookies login_in.cookies
# 完成登录获取cookiesurl_2 https://…
params {}
# 定义url和paramsresponse requests.get(url,headersheaders,paramsparams,cookiescookies)
# 带着cookies重新发起请求存储
变着花地获取数据变着花地解析数据提取数据。都会让你来到最后一站存储数据。
存储数据的方法有许多其中最常见的是csv和excel。 #csv写入的代码import csv
csv_fileopen(demo.csv,w,newline)
writer csv.writer(csv_file)
writer.writerow([电影,豆瓣评分])
csv_file.close()#csv读取的代码import csv
csv_fileopen(demo.csv,r,newline)
readercsv.reader(csv_file)
for row in reader:print(row)#Excel写入的代码import openpyxl
wbopenpyxl.Workbook()
sheetwb.active
sheet.titlenew title
sheet[A1] 漫威宇宙
rows [[美国队长,钢铁侠,蜘蛛侠,雷神],[是,漫威,宇宙, 经典,人物]]
for i in rows:sheet.append(i)
print(rows)
wb.save(Marvel.xlsx)#Excel读取的代码import openpyxl
wb openpyxl.load_workbook(Marvel.xlsx)
sheetwb[new title]
sheetname wb.sheetnames
print(sheetname)
A1_valuesheet[A1].value
print(A1_value)更多的爬虫
从爬虫四步的角度来看世上已经少有你搞不定的爬虫。因为所有的请求你都能用Python代码模拟所有的响应你都懂得如何解析。当你在后面拿到任何一个爬虫需求都能做到心中有数不慌张。
但是如果要爬取的数据特别特别多以至于程序会被拖得很慢怎么办用协程。
同步与异步—— 多协程是一种非抢占式的异步方式。使用多协程的话就能让多个爬取任务用异步的方式交替执行。 下为示例代码
import gevent,time,requests
from gevent.queue import Queue
from gevent import monkey
monkey.patch_all()start time.time()url_list [https://www.baidu.com/,
https://www.sina.com.cn/,
http://www.sohu.com/,
https://www.qq.com/,
https://www.163.com/,
http://www.iqiyi.com/,
https://www.tmall.com/,
http://www.ifeng.com/]work Queue()
for url in url_list:work.put_nowait(url)def crawler():while not work.empty():url work.get_nowait()r requests.get(url)print(url,work.qsize(),r.status_code)tasks_list [ ]for x in range(2):task gevent.spawn(crawler)tasks_list.append(task)
gevent.joinall(tasks_list)end time.time()
print(end-start)更强大的爬虫——框架
当你爬虫代码越写越多一个一站式解决所有爬虫问题的框架就对你越来越有吸引力。
Scrapy出现在你眼前。Scrapy的结构—— Scrapy的工作原理—— Scrapy的用法—— 给爬虫加上翅膀
除了这条爬虫从无到有从有到多从多到强的主线路径之外。我们还穿插学习了三个有力工具selenium邮件通知和定时。
它们给爬虫增添上翅膀能更方便地做更有趣的事。
先说selenium我们学习了可视模式与静默模式这两种浏览器的设置方法二者各有优势。
然后学习了使用.get(‘URL’)获取数据以及解析与提取数据的方法。 在这个过程中对象的转换过程 除了上面的方法还可以搭配BeautifulSoup解析提取数据前提是先获取字符串格式的网页源代码。
HTML源代码字符串 driver.page_source 以及自动操作浏览器的一些方法。 而关于邮件它是这样一种流程 我们要用到的模块是smtplib和email前者负责连接服务器、登录、发送和退出的流程。后者负责填输邮件的标题与正文。 最后一个示例代码是这个模样
import smtplib
from email.mime.text import MIMEText
from email.header import Header
#引入smtplib、MIMEText和Headermailhostsmtp.qq.com
#把qq邮箱的服务器地址赋值到变量mailhost上地址应为字符串格式
qqmail smtplib.SMTP()
#实例化一个smtplib模块里的SMTP类的对象这样就可以调用SMTP对象的方法和属性了
qqmail.connect(mailhost,25)
#连接服务器第一个参数是服务器地址第二个参数是SMTP端口号。
#以上皆为连接服务器。account input(请输入你的邮箱)
#获取邮箱账号为字符串格式
password input(请输入你的密码)
#获取邮箱密码为字符串格式
qqmail.login(account,password)
#登录邮箱第一个参数为邮箱账号第二个参数为邮箱密码
#以上皆为登录邮箱。receiverinput(请输入收件人的邮箱)
#获取收件人的邮箱。contentinput(请输入邮件正文)
#输入你的邮件正文为字符串格式
message MIMEText(content, plain, utf-8)
#实例化一个MIMEText邮件对象该对象需要写进三个参数分别是邮件正文文本格式和编码
subject input(请输入你的邮件主题)
#输入你的邮件主题为字符串格式
message[Subject] Header(subject, utf-8)
#在等号的右边是实例化了一个Header邮件头对象该对象需要写入两个参数分别是邮件主题和编码然后赋值给等号左边的变量message[Subject]。
#以上为填写主题和正文。try:qqmail.sendmail(account, receiver, message.as_string())print (邮件发送成功)
except:print (邮件发送失败)
qqmail.quit()
#以上为发送邮件和退出邮箱。再说定时我们选取了schedule模块它的用法非常简洁官方文档里是这样讲述 下面的代码是示例
import schedule
import time
#引入schedule和timedef job():print(Im working...)
#定义一个叫job的函数函数的功能是打印Im working...schedule.every(10).minutes.do(job) #部署每10分钟执行一次job()函数的任务
schedule.every().hour.do(job) #部署每×小时执行一次job()函数的任务
schedule.every().day.at(10:30).do(job) #部署在每天的10:30执行job()函数的任务
schedule.every().monday.do(job) #部署每个星期一执行job()函数的任务
schedule.every().wednesday.at(13:15).do(job)#部署每周三的1315执行函数的任务while True:schedule.run_pending()time.sleep(1)
#15-17都是检查部署的情况如果任务准备就绪就开始执行任务。 以上就是我们在爬虫系列关卡当中所学到的全部内容。
爬虫进阶路线指引
正如我们前文所说爬虫学个入门够用但较起真来它也学无止境。下面我们会讲讲如果想继续深入地学习爬虫还可以学哪些内容。
对照着我们的爬虫学习路径进阶指引也分这几个板块解析与提取、存储、数据分析与可视化新增、更多的爬虫、框架以及其他。
对于这些知识许多简单的你已经可以通过自学官方文档掌握它们的使用方法。而对于一些复杂的尤其是需要项目训练的知识你可能觉得学习它们有些困难。这部分未来我自己研究的时候也会再整理出来和大家分享。
解析与提取
当我们说要学习解析和提取是指学习解析库。除了我们关卡里所用的BeautifulSoup解析、Selenium的自带解析库之外还会有xpath/lxml等。它们可能语法有所不同但底层原理都一致你能很轻松上手然后在一些合适的场景去用它们。
如果说上述解析库学或不学都影响不大那么我要隆重地推荐你去学习正则表达式re模块。正则表达式功能强大它能让你自己设定一套复杂的规则然后把目标文本里符合条件的相关内容给找出来。举个例子我们在第6关时会爬取一首歌的歌词拿到的文本里面会充斥着各种符号。 根据我们之前学到的知识只能一遍又一遍不厌其烦地切片。但用正则就能很轻易地解决这个问题。
存储
说到存储我们目前已经掌握的知识是csv和excel。它们并不是非常高难度的模块我会推荐你翻阅它们的官方文档了解更多的用法。这样对于平时的自动化办公也会有所帮助。
但是当数据量变得十分巨大这在爬虫界并不是什么新鲜事同时数据与数据之间的关系应难以用一张简单的二维平面表格来承载。那么你需要数据库的帮助。
我推荐你从MySQL和MongoDB这两个库开始学起它们一个是关系型数据库的典型代表一个是非关系型数据库的典型代表。
当然或许你会好奇什么是关系型数据库什么是非关系型数据库。简单来说我去设计两份表格一张存储风变编程用户们的账户信息昵称头像等一张则存储用户们的学习记录。两个表格之间通过唯一的用户id来进行关联。这样的就是关系型数据库。没有这种特征的自然就是非关系型数据库。
学习数据库需要你接触另一种语言SQL。不过它也并不难学加油
数据分析与可视化
徒有海量的数据的意义非常有限。数据要被分析过才能创造出更深远的价值。举个例子拿到全中国麦当劳门店的地址和营收数据意义并不大但如果能从中总结出快餐店的最优策略这就能指导商业决策。
拿到携程网上用户对深圳欢乐谷的所有评论意义并不大。但从中分析总结出用户游玩时真正在意的点那就很有趣。
这里边的技能叫做数据分析。将数据分析的结论直观、有力地传递出来是可视化。
认真来讲这可并不是很简单的技能。学习数据分析要比爬虫还要花费更多的时间。所以未来我一定也会去做这方面的关卡帮助大家掌握它。
如果你希望自己学习它这是我推荐的模块与库Pandas/Matplotlib/Numpy/Scikit-Learn/Scipy。
更多的爬虫
当你有太多的数据要爬取你就要开始关心爬虫的速度。在此我们介绍了一个可以让多个爬虫一起工作的工具——协程。
严格来说这并不是同时工作而是电脑在多个任务之间快速地来回切换看上去就仿佛是爬虫们同时工作。
所以这种工作方式对速度的优化有瓶颈。那么如果还想有所突破还可以怎么做
我们已经知道协程在本质上只用到CPU的一个核。而多进程multiprocessing库爬虫允许你使用CPU的多个核所以你可以使用多进程或者是多进程与多协程结合的方式进一步优化爬虫。
理论上来说只要CPU允许开多少个进程就能让你的爬虫速度提高多少倍。
那要是CPU不允许呢比如我的电脑也就8核。而我想突破8个进程应该怎么办
答分布式爬虫。什么意思呢分布式爬虫就是让多个设备去跑同一个项目。
我们去创建一个共享的队列队列里塞满了待执行的爬虫任务。让多个设备从这个共享队列当中去获取任务并完成执行。这就是分布式爬虫。
如此就不再有限制你爬虫的瓶颈——多加设备就行。在企业内面对大量爬虫任务他们也是使用分布式的方式来进行爬虫作业。
实现分布式爬虫需要下一个组块的内容——框架。
更强大的爬虫——框架
目前我们已经简单地学过Scrapy框架的基本原理和用法。而一些更深入的用法使用Scrapy模拟登录、存储数据库、使用HTTP代理、分布式爬虫……这些就还不曾涉及。
不过好消息是这些知识对于今天的你来说大数都能轻松上手。因为它们的底层逻辑你都已掌握剩下的不过是一些语法问题罢了。
我会推荐你先去更深入地学习、了解Scrapy框架。然后再了解一些其他的优秀框架如PySpider。
项目训练
现在当你再去一些招聘网站上去浏览“爬虫工程师”的字样时它的工作描述已经不再有会让你陌生的字眼。 你开始觉得或许自己再补充一些知识学习也能够胜任。那么中间缺的是什么
上述的模块/库/框架并不是那样重要因为它们都是易于掌握的工具。对于一个爬虫工程师来说最重要的是达成目标的思维。
相信你已经能感受到在我们所有的项目型关卡里都遵循着这三个核心步骤确认目标、分析过程和代码实现对于复杂项目也要去做代码封装。
其中难度最大的不是代码实现也不是代码封装而是确认一个合理的目标分析这个目标如何实现设计这些工具模块如何组合应用。
我们所学习的爬虫四步获取数据、解析数据、提取数据和存储数据都服务于“分析过程”这一步。
我要的数据在哪怎么拿到数据怎么更快地拿到数据怎么更好地存储数据……这个都属于“达成目标的思维”。
获取这种思维需要大量的项目实操练习。
所以我想推荐你完成我所提供的所有项目练习多读一读编程前辈们的博客、github主页学习案例同时探索更多的项目实操丰富自己的爬虫经验。
在未来如果我再设计更进阶的爬虫课程教授正则、进程、分布式……的知识也一定会将大量项目实操作为主线。
反爬虫应对策略汇总
说完了进阶路线指引我们来说反爬虫。几乎所有的技术人员对反爬虫都有一个共识所谓的反爬虫从不是将爬虫完全杜绝而是想办法将爬虫的访问量限制在一个可接纳的范围不要让它过于肆无忌惮。
原因很简单爬虫代码写到最后已经和真人访问网络毫无区别。服务器的那一端完全无法判断是人还是爬虫。如果想要完全禁止爬虫正常用户也会无法访问。所以只能想办法进行限制而非禁止。
所以我们可以了解有哪些“反爬虫”技巧再思考如何应对“反爬虫”。
有的网站会限制请求头即Request Headers那我们就去填写user-agent声明自己的身份有时还要去填写origin和referer声明请求的来源。
有的网站会限制登录不登录就不给你访问。那我们就用cookies和session的知识去模拟登录。
有的网站会做一些复杂的交互比如设置“验证码”来阻拦登录。这就比较难做解决方案一般有二我们用Selenium去手动输入验证码我们用一些图像处理的库自动识别验证码tesserocr/pytesserart/pillow。
有的网站会做IP限制什么意思呢我们平时上网都会有携带一个IP地址。IP地址就好像电话号码地址码有了某人的电话号码你就能与他通话了。同样有了某个设备的IP地址你就能与这个设备通信。
使用搜索引擎搜索“IP”你也能看到自己的IP地址。 如上它显示出了某个IP地址所用的网络通信服务商是深圳电信。如果这个IP地址爬取网站频次太高那么服务器就会暂时封掉来自这个IP地址的请求。
解决方案有二使用time.sleep()来对爬虫的速度进行限制建立IP代理池你可以在网络上搜索可用的IP代理一个IP不能用了就换一个用。大致语法是这样
import requests
url https://…
proxies {http:http://…}
# ip地址
response requests.get(url,proxiesproxies)以上就是市面上最常见的反爬虫策略以及对应的应对策略。你会发现没什么能真正阻拦你。这正印证了那句话所谓的反爬虫从不是将爬虫完全杜绝而是想办法将爬虫的访问量限制在一个可接纳的范围不要让它过于肆无忌惮。
写在最后的话
一直以来我都相信每一门学科都有它的独特气质在里面它对人影响深远。如果你要做教育单纯地把知识讲透不够需要把那种东西表达出来。
古人说“传道授业解惑”中的“传道”讲的是这样一回事。
那么在“爬虫”这里有什么是与众不同的
我咨询过很多身边写爬虫很厉害的前辈你们平时怎么写爬虫写爬虫时候最重要的是什么
他们给了许多种不同的说法但这些说法都指向同一个答案
确认目标-分析过程-先面向过程一行行实现代码-代码封装。
在这最重要的是确认目标最难的是分析过程。写代码不过是水到渠成的事。
在这个过程里你会遇到很多困难。但是没关系遇到困难就去学习就去查文档总能够找到解决方案。
在编程的世界几乎没什么是不可能。
正是听到了他们这样的答复我把关卡设计成了现在的模样处处都是确认目标-分析过程-代码实现有时还有代码封装。
这个过程中我们会遇到困难。那么我们去学习新的知识去查文档。而每遇一新知识我们必要弄个明白它是什么它应如何使用实操去使用。
为了大家更好地完成最难的“分析过程”我们提出了爬虫四步获取数据-解析数据-提取数据-存储数据。
我想这正是爬虫的这16个关卡所期望表达的东西没什么目标是你不可凭努力与智慧实现没什么困难你不可凭努力与智慧逾越。
逢山开路遇水架桥不甘庸碌渡一生的人心怀梦想梦想即目标。
目标即可被分析过程分析清楚即可被实现。
在这个过程中或许会遇到困难。没关系困难都能找到解决方案。
逢山开路遇水架桥。
或许你觉着我在讲一个鸡汤的事。不是我在讲理论我在讲已发生在你身上的经历。
说是理论最近一些年除了技术之外我浸心于一门叫做“认知心理学”的学科。它所研究的是人的认知过程。读起来实在是有趣极了。
在这本书里让我印象最深的一章节叫做“问题解决”讨论的是人是如何解决问题的。最后得出的一个关键结论是人类最有效地解决问题方式是“目标-手段分析法”。
确认目标一层一层地分解大问题变一组小问题每一个小问题都有实现的手段然后去做就好。事情仿佛就是这样简单。
但事情不是这样简单。
我不知道你是否还记得第5关的样子。那时你刚刚学会BeautifulSoup你接到一个需求爬取周杰伦的歌曲信息。
你确认目标-分析过程-然后代码实现。突然事情的结果却在预期之外——没拿到想要的数据。
你并不会因此而感到慌张为什么
因为我们的每一步过程都是非常清晰地推理得来。我们能很容易定位到问题——一步步反推回去就好。
是提取错了吗检查不是。是解析错了吗检查不是。那定是获取数据错了。我们去重新分析过程去学习新的知识——XHR去查文档——解析json数据。
同理当我们所做的事情不及预期我们可以检查是执行错了吗不是那是手段错了吗如果还不是那就需要思考是不是目标制定有问题。
坚持这样思考我相信在你的生活里一切事物都可以是明确而可实现的。即便出了问题也能清晰地溯源。
你逢山开路你从不慌张。以上就是我想要告诉你所有的事情。
加油你终将成为梦想中的大神
