宁波百度做网站的公司哪家好,电脑手机自适应网站的建设,如何免费注册自己的网站,免费建站网站一站式文章目录 前言回顾前路代码实现体验代码功能拆解获取数据解析提取数据存储数据 程序实现与总结 前言
Hello又见面了#xff01;上一关我们学习了爬虫数据的存储#xff0c;并成功将QQ音乐周杰伦歌曲信息的数据存储进了csv文件和excel文件。
学到这里#xff0c;说明你已经… 文章目录 前言回顾前路代码实现体验代码功能拆解获取数据解析提取数据存储数据 程序实现与总结 前言
Hello又见面了上一关我们学习了爬虫数据的存储并成功将QQ音乐周杰伦歌曲信息的数据存储进了csv文件和excel文件。
学到这里说明你已经成功入门了Python爬虫
今天就让我用一个实操项目带你复习之前1-7关所学的知识。这个项目爬取的主题是美国总统特朗普……
美国总统特朗普之前频上热搜出于好奇我对他的相关时事在今日头条网站上进行了爬取发现他果然是语出惊人。
相信你对这个项目一定充满了期待但在此之前按照国际惯例我们先来回顾一下之前的知识。
回顾前路
在前面我们所有学习的知识都可以用【项目实现】和【知识地图】两张图来说清。
【项目实现】 任何完成项目的过程都是由以下三步构成的。 先需要明确自己的目标是什么然后分析一下如何实现这个目标最后就可以去写代码了。
当然这不是一个线性的过程而可能出现“代码实现”碰壁后然后折返“分析过程”再“代码实现”的情形。
接下来是【知识地图】前面7关所讲的爬虫原理在本质上是一个我们所操作的对象在不断转换的过程。 总体上来说从Response对象开始我们就分成了两条路径一条路径是数据放在HTML里所以我们用BeautifulSoup库去解析数据和提取数据另一条数据作为Json存储起来所以我们用response.json()方法去解析然后提取、存储数据。
你需要根据具体的情况来确定自己应该选择哪一条路径。
也可以参考图片上的注释帮助自己去回忆不同对象的方法和属性。不过老师还是希望你能把这个图记在心里。
好啦1-7关的内容就梳理完成啦~
接下来到我们今天的任务了在头条中爬取一下关于特朗普的相关信息。
代码实现
体验代码
了解时事最快的渠道莫过于新闻了而将各个新闻网数据自动收集起来的今日头条也就这么顺理成章成为我们的今日目标了。
在这里我决定以头条上搜索特朗普的结果作为我们爬虫爬取的目标。
代码已经写好了我们先来体验一下效果吧。
阅读下面的代码然后点击运行。提示由于网址反爬策略升级的问题如果本地运行代码报错请及时留言求助。
import requests
import csv# 新建csv文件并打开文件
file open(articles.csv, w, newline, encodingutf-8)
writer csv.writer(file)# 写入表头
writer.writerow([标题, 链接])# 设置爬取链接
url https://www.toutiao.com/api/search/content/# 设置 offset 的起始值为 0
offset 0# 循环三页
while offset 60:# 封装参数params {aid: 24, app_name: web_search, offset: offset, keyword: 特朗普, count: 20}# 发送请求并把响应内容赋值给变量 resres requests.get(url, paramsparams)# 使用 json 方法将响应结果读成字典articles res.json()# 取出 data 对应的值data articles[data]# 遍历 data 内容for i in data:# 判断这行内容是不是文章if i.get(article_url):# 取出这行内容放到列表里row [i[title], i[article_url]]# 打印内容print(row)# 写入这行内容writer.writerow(row)# 换页offset offset20# 关闭文件
file.close()
可以看到最近特朗普相关新闻的标题与链接都被爬取下来了。
接下来就跟着我一步步来实现这个代码吧。
功能拆解
写代码时我们首先要明确目标毕竟任何代码都是为了解决问题而去写的。
这次我们的任务是专门爬取找特朗普热点新闻的链接和标题。爬取多少呢先定一个小目标爬它60条左右吧。
注爬取几万条数据当然是可以的不过毕竟参加课程的同学有很多每个人都去爬个一千条数据都有着百万爬取量了如此高频的访问会给对方的服务器造成相当大的压力。为了不竭泽而渔我们需要控制好在课堂里的爬取数量。
有了目标接下来我们就需要分析如何去实现它了。
爬虫的本质是通过代码来模拟真人访问浏览器的过程所以想一想如果不借助代码的话我们一般会如何去查看60条今日头条上特朗普相关新闻呢
1.打开浏览器。
2.打开今日头条网页。
3.在今日头条中搜索特朗普查看搜索结果。
4.点击网页下方的翻页直到加载出60条数据。
5.打开60个网页对它们的网址和标题不断进行复制粘贴保存到本地。
我们用爬虫来模拟爬取时也可以根据这些步骤来。
1.在今日头条中搜索特朗普爬取当前界面的数据。
2.解析当前界面数据分析如何提取出需要的新闻标题和链接。
3.点击加载更多爬取其中60条数据。
4.将爬取到的数据保存起来。
那么我们先开始获取数据吧。
获取数据
特朗普发言相关新闻的URL在这里https://www.toutiao.com/search/?keyword%E7%89%B9%E6%9C%97%E6%99%AE%EF%BC%9A 这是我做这个项目时网站显示的内容。
我们直接点击右键——检查——element来查找一下数据存放标签的规律吧。
可以发现界面上所有的新闻标题都是class属性为title-box标签里的文本内容。
当然还有许多其他的提取方法不过我们可以先尝试爬取一下。
# 导入模块
import requests
from bs4 import BeautifulSoup# 发起请求,将响应的结果赋值给变量res。
urlhttps://www.toutiao.com/search/?keyword%E7%89%B9%E6%9C%97%E6%99%AE%EF%BC%9A
resrequests.get(url)
# 用bs进行解析
bstitleBeautifulSoup(res.text,html.parser)
# 提取我们想要的标签和里面的内容
titlebstitle.find_all(class_title-box)
# 打印title
print(title)运行的结果是一个空列表这是为什么呢
一次性写完爬虫代码固然让人舒畅不过最终运行代码结果和我们预期目标不符时就很尴尬了。
所以在写代码时妙用print语句就很有必要了这可以很好的帮助我们监测程序运行的过程。
在这里我们可以分别print一下网页源代码和网页访问状态码来查看一下我们爬取的内容与状态。
# 引入requests和bs
import requests
from bs4 import BeautifulSoup# 发起请求,将响应的结果赋值给变量res。
urlhttps://www.toutiao.com/search/?keyword%E7%89%B9%E6%9C%97%E6%99%AE%EF%BC%9A
resrequests.get(url)
# 用bs进行解析
bstitleBeautifulSoup(res.text,html.parser)
# 打印网页源代码
print(res.text)
# 检查状态码
print(res.status_code)可以发现网页返回状态码是200说明访问网页成功了不过爬取出来的内容似乎和我们在网页上看到的不太一样。
出现这种情况往往说明网页本身是动态网页需要的数据不在初始的HTML中。
之后你们在实际爬取网站的过程中也可以基于这点来判断当你直接爬取界面上看到的url打印出网页访问状态码和网页源代码当爬取的状态码是200网页源码内容却与直接从网页上看到的不符时那么就说明网页是动态网页。
当然还有一个更加方便的方法我们可以直接在谷歌浏览器里看出网页是否是动态的。 如果preview和网页上看到的内容一致那么就是静态网页反之则是动态网页。
静态网页我们直接爬取当前浏览器上显示的网页就可以了而对于动态网页我们的处理就是四步走右键检查——network——xhr——刷新界面然后来查找我们需要的数据存放在哪个xhr文件中。 面对一堆xhr文件该如何快速找到自己想要的那个呢
对于经验丰富的爬虫工程师来说看xhr之中的文件名可以更快看出数据在哪。
对于现在的我们来说可以逐个点开xhr文件通过查看它们的preview来确定数据所在的xhr位置。
这个方法虽然简单但却很有效。 在头条网的三个xhr中可以很明显的通过preview来看到我们想要的数据肯定在第一个xhr里毕竟另外两个xhr里的内容一眼就看穿了。
接下来就是在这个xhr里找到我们想要的新闻标题与链接的位置规律并将它们提取出来。
解析提取数据
浏览一下这个xhr的preview通过在preview里搜索在界面上看到的新闻标题来查看这个json文件的结构。 搜索到的每一个标题存放的位置都有很多为了方便我们直接通过xhr文件中data大列表里每个字典的title键来提取。
关于网址我们也如法炮制在preview中搜索url关键词。 好了找到数据了我们先将这一页的20个数据爬取下来吧
还记得如何爬取xhr里对应文件的内容吗
爬取的网址在Headers中General标题下的Request URL里其中的url在问好之前的就是我们爬取的网址。 问号之后的是paramsparams是一种访问网页所带的参数这种参数的结构会和字典很像有键有值键值用连接每组键值之间使用来连接。
关于params可以翻到General最下面看到可以直接复制到代码中。 记得将直接复制的params转化成字典字典里每个键值要用逗号隔开。
不断手动加逗号引号的过程似乎很麻烦。
好吧到了第8关了也是时候该教你了。
学完这一关就去让你的助教来教你如何将网页上复制的params直接转化成字典的方法吧。
现在还是老老实实手动转化一遍因为接下来我们还要继续分析params里部分参数的作用。
# 导入模块
import requestsurl https://www.toutiao.com/api/search/content/# 封装params变量
params {aid:24,
app_name:web_search,
offset:0,
format:json,
keyword:新疆棉花,
autoload:true,
count:20,
en_qc:1,
cur_tab:1,
from:search_tab,
pd:synthesis,
timestamp:1616756202046,
_signature:_02B4Z6wo00f01.cp-ewAAIDAR9gVJnLDqF.3Df1AAJ2h1CoOpRhZZIWXdVjhrG9mY19M0c1RxNSsZ4ViJcNfwF6bsV8e9npvQeENNWcL9cis4wlCeXgdbeIf0W2R.lsi-gP3omstdNnUbJdKec}# 发送请求并把响应内容赋值到变量res里面
res requests.get(url,paramsparams)# 定位数据
articlesres.json()
dataarticles[data]# 遍历data列表提取出里面的新闻标题与链接
for i in data:list1[i[title],i[article_url]]print(list1) 运行结果
Traceback (most recent call last):File /home/python-class/classroom/apps-2-id-5f56e7f9300055000153a220/93/main.py, line 30, in modulefor i in data:
TypeError: NoneType object is not iterable阿欧运行出错了。我们来看看报错KeyError根据我们的经验这一般是因为字典中没有要查找的key才会报这个错误。
于是我们在回去仔细检查我们爬取的json文件。 结果发现data里的列表有两种一种是界面包含的新闻信息一种是特朗普相关周边新闻。
差不多每10个字典里就有一个是特朗普相关周边新闻。
在这些相关周边新闻的字典里是没有title这个键的。
第4关爬取豆瓣时我们也遇到过类似的问题爬取下来的列表中有些不是我们想要的元素。
当时我们是用if判断来解决的在这我们可以尝试用try语句来解决这个问题。
参考答案在except后面你可以print任意内容来提示自己这里遇到了特殊列表。
# 导入模块
import requests# 定义urlparams等变量
url https://www.toutiao.com/api/search/content/
params {aid: 24, app_name: web_search, offset: 0, keyword: 特朗普, count: 20}# 发送请求并把响应内容赋值到变量res里面
res requests.get(url,paramsparams)# 定位数据
articlesres.json()
dataarticles[data]# 遍历列表提取出里面的新闻标题与链接
for i in data:try:list1[i[title],i[article_url]]print(list1)except:print(此处无银三百两) 接下来我们就需要爬取更多的内容了。
我们尝试人工加载更多数据会发现xhr里有新的文件跳出来了查看发现就是新加载出来的20条数据。
仔细对比一下两个xhr的params发现只有offset参数有些变化从0变成了20所以offset这个参数应该是代表一个起始值代表从哪一篇开始爬取。
如何验证我们的想法呢当然是上代码了将offset参数改成01020分别运行一个查看一下最终的结果。
请你运行下面的代码看到终端提示通过input来改变offset参数吧后输入你想要设置的offset参数01020。
import requests
from bs4 import BeautifulSoup
urlhttps://www.toutiao.com/api/search/content/
offset input(通过input来改变offset参数吧)
headers{sec-ch-ua:GoogleChrome;v89,Chromium;v89,;NotABrand;v99,
sec-ch-ua-mobile:?0,
sec-fetch-dest:empty,
sec-fetch-mode:cors,
sec-fetch-site:same-origin,
user-agent:Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/89.0.4389.90Safari/537.36,
x-requested-with:XMLHttpRequest}
params{aid:24,
app_name:web_search,
offset:offset,
format:json,
keyword:新疆棉花,
autoload:true,
count:20,
en_qc:1,
cur_tab:1,
from:search_tab,
pd:synthesis,
timestamp:1616756202046,
_signature:_02B4Z6wo00f01.cp-ewAAIDAR9gVJnLDqF.3Df1AAJ2h1CoOpRhZZIWXdVjhrG9mY19M0c1RxNSsZ4ViJcNfwF6bsV8e9npvQeENNWcL9cis4wlCeXgdbeIf0W2R.lsi-gP3omstdNnUbJdKec}
resrequests.get(url,headersheaders,paramsparams)
targetres.json()[data]
for item in target:try:t_titleitem[title]print(t_title)except KeyError:pass运行结果
通过input来改变offset参数吧20
不容抹黑关于新疆棉花的六个事实
新疆棉花年产520万吨占全国产量87%中国我们自己都不够用
新疆以前并没有很多棉花为什么现在成为了主要产棉区
新疆棉花成为“众矢之的”为何我国进口棉花却增67%真相了
播种面积下降产量却增加新疆棉花为啥这么牛
新疆棉花不是美国刀下的凉粉
“天下棉仓”新疆棉花为何如此优质竟然掌控了全球棉花定价
BCI要让新疆的棉花“凉凉”新疆长绒棉中国自己还不够用
新疆棉花为啥产量高、质量好其实主要原因有三个
上千年种植史、产量全国第一、世界顶级品质……新疆棉花到底有多强
“抵制新疆棉花”引发众怒央视起底幕后推手
被打压的新疆棉花究竟有多牛
新疆棉花为何被下毒手背后隐藏美国一盘大棋若屈服将一败涂地
新疆的棉花好在哪6张图带你一探究竟
反å»对新疆棉花的抹黑中国八点破解之道
我们新疆的棉花是最纯洁、最温暖的花
新疆棉花稳霸热搜这些冷知识你了解吗
科普一下新疆棉花究竟有多厉害掌握了全球棉花定价权
新华全媒丨新疆的棉花是怎样种出来的
为什么是新疆从“人权”到禁新疆棉花背后的黑手到底看中什么
不出预料offset果然可以控制从哪篇新闻开始爬。
继续分析params。在一堆英文中keyword键对应的中文参数特朗普格外的显眼。
我们也可以合理推断出keyword参数可以控制我们搜索的内容。
为了保险起见我们还是通过代码来测试一遍吧。跟修改offset一样我们通过input来控制传入的keyword参数。
请你运行下面的代码看到终端提示你想要搜索什么新闻呢后输入你想要搜索的新闻关键字。
# 导入模块
import requests# 定义urlkeywordparams等变量
url https://www.toutiao.com/api/search/content/
keyword input(你想要搜索什么新闻呢)
params {aid: 24, app_name: web_search, offset: 0, keyword: keyword, count: 20}# 发送请求并把响应内容赋值到变量res里面
res requests.get(url,paramsparams)# 定位数据
articlesres.json()
dataarticles[data]# 遍历列表提取出里面的新闻标题与链接
for i in data:try:list1[i[title],i[article_url]]print(list1)except:pass 你搜索了什么内容呢
接下来我们要找到控制数据爬取量的参数了这个xhr里有20条数据巧了count的参数就是20那么肯定就是它了。
什么这不严谨那么老规矩我们还是通过input来控制count参数来验证一下吧。
请运行下面的代码看到终端提示你想要搜索多少条新闻呢后输入一个大于0的数字。
import requests
from bs4 import BeautifulSoup
urlhttps://www.toutiao.com/api/search/content/
offset input(通过input来改变offset参数吧)
keywordinput(请输入关键词搜索新闻)
headers{sec-ch-ua:GoogleChrome;v89,Chromium;v89,;NotABrand;v99,
sec-ch-ua-mobile:?0,
sec-fetch-dest:empty,
sec-fetch-mode:cors,
sec-fetch-site:same-origin,
user-agent:Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/89.0.4389.90Safari/537.36,
x-requested-with:XMLHttpRequest}
params{aid:24,
app_name:web_search,
offset:offset,
format:json,
keyword:keyword,
autoload:true,
count:50,
en_qc:1,
cur_tab:1,
from:search_tab,
pd:synthesis,
timestamp:1616756202046,
_signature:_02B4Z6wo00f01.cp-ewAAIDAR9gVJnLDqF.3Df1AAJ2h1CoOpRhZZIWXdVjhrG9mY19M0c1RxNSsZ4ViJcNfwF6bsV8e9npvQeENNWcL9cis4wlCeXgdbeIf0W2R.lsi-gP3omstdNnUbJdKec}
resrequests.get(url,headersheaders,paramsparams)
targetres.json()[data]
for item in target:try:t_titleitem[title]print(t_title)except KeyError:pass运行结果
通过input来改变offset参数吧20
请输入关键词搜索新闻解体
假如印度发生解体会怎么分这里进行设想可能有两个“斯坦”
苏联为何主动解体主要原因有4点其中一个和中国有关
苏联为什么突然解体解体后的苏联给这个世界带来了什么
阀门解体_爱酷网
十大最终解体的巨头组合听说过7个以上妥妥20年的老球迷
南斯拉夫解体成六国都过得好吗
大国的崩溃1991年苏联解体为何会选在圣诞节这一天
苏联为何解体被西方话语忽悠步入陷阱苏联崩溃解体是必然结局
苏联解体_出国留学网
解体无弹窗_解体(枭神live)_笔趣阁
张召忠强大的苏联为什么解体切尔诺贝利核爆炸是一个转折点
揭秘苏联解体内幕戈尔巴乔夫激进改革酿成大祸
曾经强大无比的苏联到底为什么会解体一罐鱼子酱揭示了真相
苏联解体视频_美篇
解体的解释|读音|近反义词-百科
美国国家解体实际上已经开始了
51年就分崩离析奥匈帝国作为列强为什么解体的速度如此之快
苏联为什么会解体普京终于吐露真实看法又一次称赞中国如何使用循环改变offset参数呢我这里给给出一种思路
# 定义offset变量
offset 0# 判断offset是否小于60如果小于则每次增加20当offset大于等于60时结束循环
while offset 60:offset 20现在你可以尝试通过判断offset是否小于60大于60则退出循环来爬取60条数据。
import requests
from bs4 import BeautifulSoup
urlhttps://www.toutiao.com/api/search/content/
offset int(input(通过input来改变offset参数吧))
keywordinput(请输入关键词搜索新闻)
headers{sec-ch-ua:GoogleChrome;v89,Chromium;v89,;NotABrand;v99,
sec-ch-ua-mobile:?0,
sec-fetch-dest:empty,
sec-fetch-mode:cors,
sec-fetch-site:same-origin,
user-agent:Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/89.0.4389.90Safari/537.36,
x-requested-with:XMLHttpRequest}
while offset 60:offset 20params{aid:24,app_name:web_search,offset:str(offset),format:json,keyword:keyword,autoload:true,count:50,en_qc:1,cur_tab:1,from:search_tab,pd:synthesis,timestamp:1616756202046,_signature:_02B4Z6wo00f01.cp-ewAAIDAR9gVJnLDqF.3Df1AAJ2h1CoOpRhZZIWXdVjhrG9mY19M0c1RxNSsZ4ViJcNfwF6bsV8e9npvQeENNWcL9cis4wlCeXgdbeIf0W2R.lsi-gP3omstdNnUbJdKec}resrequests.get(url,headersheaders,paramsparams)targetres.json()[data]for item in target:try:t_titleitem[title]print(t_title)except KeyError:pass真棒应该不会是偷懒直接将count参数改成60吧。
存储数据
获取、解析、提取数据都完成了。最后我们需要将得到的数据存储下来。
我们目前学会的储存数据方法有excel和csv两种。
因为上一关的案例中我们是用excel来存储的所以这一关我们就来试试csv。
还记得csv存储的格式吗
先用open函数的写入模式新建csv表格再用csv.writer()函数创建一个writer对象。
将要写的一行数据存入列表每一列内容用逗号隔开。
调用writer对象的writerow()方法将列表里的内容写入。
比如我需要新建一个csv文件往这个csv文件第一行写入两列内容第一行第一列写入标题第一行第二列写入链接。
那么代码应该是这样的
# 导入模块
import csv# 新建csv表格
csv_fileopen(articles.csv,w,newline,encodingutf-8)# 往csv表格写入内容
writer csv.writer(csv_file)
list2[标题,链接]
writer.writerow(list2)# 关闭csv文件
csv_file.close()下面你来根据注释将上面有关csv存储的代码添加到下面的爬虫代码之中。
程序实现与总结
import requests
# 引用csv
import csv
# 调用open()函数打开csv文件传入参数文件名“articles.csv”、写入模式“w”、newline。
with open(./articles.csv,w,newline)as f:
# 用csv.writer()函数创建一个writer对象。writercsv.writer(f)
# 创建一个列表result_list[]
# 调用writer对象的writerow()方法可以在csv文件里写入一行文字 “标题”和“链接”和摘要。writer.writerow([标题,链接,摘要])
# 设置offset的起始值为0
offset0
urlhttps://www.toutiao.com/api/search/content/
# 循环三页
while offset 60:headers{user-agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36}# 封装参数params {aid: 24, app_name: web_search, offset: offset, keyword: 特朗普, count: 20}# 发送请求并把响应内容赋值给变量 resres requests.get(url, paramsparams)# 使用 json 方法将响应结果读成字典articles res.json()# 取出 data 对应的值data articles[data]# 遍历 data 内容for i in data:# 判断这行内容是不是文章if i.get(article_url):# 取出这行内容放到列表里row [i[title], i[article_url]]# 打印内容print(row)# 写入这行内容writer.writerow(row)# 换页offset offset20# 关闭文件
file.close()怎么样是不是将我们开头看到的代码自己一步步写出来了呢
在这一关里我们对之前的知识进行了复习并且通过今日头条这个网站来加深巩固了爬取动态网页的方法。
我们学会了如何去分析动静态网页的方法如何去通过preview查找xhr里数据存放在哪个文件中。
你之后也许会自己去爬各种动态网页它们的xhr或许更多一个个点开查看起来更加费力。
不过这个过程并不枯燥深入研究动态网页的xhr就像是在挖掘宝藏一些不会显示在界面上的数据也许不经意间就被你找了出来。
我们深入分析了params的部分关键参数的作用。
其实这些params参数的命名就跟你自己写代码时命名的变量一样都是写这个网页的程序员命名的但程序员为了方便自己记忆一般也是基于一些英文命名规则来的。
比如一般控制翻页的参数无非是pageppagenum这些。
当然英文基础不好也不需要多么担心我们依旧可以通过改变代码里params里的参数来检测它们的作用。
关于爬虫的基础知识我们就已经告一段落了。
下一关不见不散咯
