目录搜索引擎网站,怎么搭建自己的网站,做电子板报的网站,制作表白网站教程目录
一、环境准备
二、编写代码
2.1 分页分析
2.2 编码 一、环境准备
安装requests和lxml
pip install requests
pip install lxml 二、编写代码
2.1 分页分析
编写代码前我们先看看榜单的url 我们假如要爬取五页的数据#xff0c;那么五个url分别是#xff1a; htt…目录
一、环境准备
二、编写代码
2.1 分页分析
2.2 编码 一、环境准备
安装requests和lxml
pip install requests
pip install lxml 二、编写代码
2.1 分页分析
编写代码前我们先看看榜单的url 我们假如要爬取五页的数据那么五个url分别是 https://movie.douban.com/top250?start0filter https://movie.douban.com/top250?start25filter https://movie.douban.com/top250?start50filter https://movie.douban.com/top250?start75filter https://movie.douban.com/top250?start100filter 不难看出规律在于start参数每页有25条数据。
那么按照分页计算公式 (当前页数 - 1) * 每页数据量 得出 代码逻辑。 2.2 编码 我们复制下xpath。
import random
from lxml import etree
import requests
import time# 请求头信息
headers {User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36
}
# 共取5页数据
for i in range(1, 6):start (i - 1) * 25url fhttps://movie.douban.com/top250?start{start}filterresponse requests.get(url, headersheaders)tree etree.HTML(response.text)div tree.xpath(//*[idcontent]/div/div[1]/ol/li/div)for d in div:# 获取当前电影标题title d.xpath(.//span[classtitle][1]/text())[0]print(title)time.sleep(random.randint(1, 3)) 成功爬取豆瓣电影TOP250榜单。
