网站移动端开发公司,网站建设费钱吗,麻江网站建设,一个产品有两个品牌怎么做网站文章目录 爬虫URL发送请求UA伪装requests 获取想要的数据打开网页 总结完整代码 爬虫
Python 爬虫是一种自动化工具#xff0c;用于从互联网上抓取网页数据并提取有用的信息。Python 因其简洁的语法和丰富的库支持#xff08;如 requests、BeautifulSoup、Scrapy 等#xf… 文章目录 爬虫URL发送请求UA伪装requests 获取想要的数据打开网页 总结完整代码 爬虫
Python 爬虫是一种自动化工具用于从互联网上抓取网页数据并提取有用的信息。Python 因其简洁的语法和丰富的库支持如 requests、BeautifulSoup、Scrapy 等而成为实现爬虫的首选语言之一。
Python爬虫获取浏览器中的信息实际上是模仿浏览器上网的行为。完成获取信息需要完成三步
指定url发送请求获取你想要的数据
比如我们爬取一个网站的页面
https://www.sogou.com/URL
URLUniform Resource Locator统一资源定位符是互联网上用来标识资源的字符串它告诉Web浏览器或其他网络程序如何访问特定的文件或网页。简单来说URL就是网页的地址。
那我们怎么寻找网页的url呢
浏览器中找到网页页面点击按钮F12进入开发者控制台Developer Console。 第一步点击Network,第二步刷新页面第三步滚动滚轮找到最上面的一项打开 我们可以看到网页的url地址、以及它的请求方式是get请求、Status Code在200和300是属于正常的、类型是text/html形式的。
好那我们先指定url地址
url https://www.sogou.com/发送请求
找到网址之后我们当然得要获取它这样我们就需要申请访问它的网址。
访问别人当然自己得有个身份怎么为自己伪装一个身份呢
UA伪装
在python内下载fake_useragent包这里面是别人以及写好的UA使用这个包会为我们随机提供一个身份。
pip install fake_useragent下载好之后导入包
import fake_useragent接下来运用这个包来进行UA伪装
head {User-Agent:fake_useragent.UserAgent().random #User-Agent固定写法哦
}这样我们就有身份来发生请求啦
requests
在Python中发生请求使用requests方法。使用这个方阿飞之前呢我们也还需要安装一个requests包
pip install requests下载好之后导入包
import requests接下来我们来使用这个包来发送请求
response requests.get(url,headershead)
#以head的伪装身份访问url将返回的数据放在response对象内这样我们就请求完成了。
获取想要的数据
之前我们在开发者控制台中看到网页的类型是text/html形式的。
请求完成之后我们将请求到的内容接收一下
res_text response.text
print(res_text)
--------------------
print(response.status_code)
#可以加上这个代码验证请求是否成功
200请求成功。通常表示服务器成功返回了请求的网页。
404未找到。通常表示服务器无法找到请求的资源网页。
500内部服务器错误。通常表示服务器遇到了一个意外情况导致其无法完成对请求的处理。将接收到的内容打印出来。
打开网页
在PyCharm中建立一个HTML文本将接收打印出来的数据内容复制进HTML文本中 进入HTML文本右上角会有浏览器浮现选择你要使用的浏览器打开就会进去获取的网页中。
总结
本篇介绍了如何爬取网页的一个页面。
指定url发送请求requests请求方法 UA伪装使用fake_useragent包为自己提供身份 获取想要的数据将数据接收处理
完整代码
import fake_useragent
import requests
if __name__ __main__:#UA伪装 让你认为我是一个浏览器head {User-Agent:fake_useragent.UserAgent().random}# 1、指定urlurl https://www.sogou.com/# 2、发送请求 返回的数据在response对象内response requests.get(url,headershead)#3、获取想要的数据res_text response.textprint(res_text)
