深圳建站公司好坏,可信网站,加载wordpress外部文件,网站建设咨询哪些方面文章目录 概要 概要 提示#xff1a;python爬取数据并将数据写入execl表中#xff0c;仅供学习使用#xff0c;代码是很久前的#xff0c;可能执行不通#xff0c;自行参考学习。
# -*- coding: utf-8 -*-
import datetime # 日期库
import requests # 进行网络请求
im… 文章目录 概要 概要 提示python爬取数据并将数据写入execl表中仅供学习使用代码是很久前的可能执行不通自行参考学习。
# -*- coding: utf-8 -*-
import datetime # 日期库
import requests # 进行网络请求
import xlwt # 与excel相关的操作
from lxml import etree # 引入xpath库方便定位元素
import time # 进行访问频率控制
import random # 随机数生成
import math # 数学库# main
def main(word, filename):word wordfilename filenameSavepath ./test/ filename .xls # 存储路径datalist getdata(word) # 获取爬取的关键词数据savedata(datalist, Savepath) # 保存的数据和路径参数# 获取html源码
def ask_url(url):html # 进行伪装头信息防止416错误模拟浏览器头部信息向豆瓣服务器发送消息(最好加上cookie)headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36 }try:response requests.get(url, headersheaders,timeout10) # 用户代理表示告诉豆瓣服务器我们是什么类型的机器、浏览器本质上是告诉浏览器我们可以接收什么水平的文件内容time.sleep(random.randint(1, 3)) # 每隔1-3s执行一次请求html response.content # 获取网页的html源代码print(请求访问成功)except requests.exceptions.RequestException as e:print(超时) # 10秒请求无响应则显示超时print(e)return html# 获取站长工具网站关键词总数
def num(word):word word # 关键词url http://rank.chinaz.com/ word # 站长工具查询关键词URLnum ask_url(url) # 获取网页源码num1 etree.HTML(num) # 解析网页try:global num2 # 全局变量 num2num2 num1.xpath(/html/body/div[3]/div[7]/div[1]/div[1]/span/i[1]/text())[0] # 通过xpath获取网页关键词总数的值print(num2) # 输出获取的值num2 int(num2) # 将值类型转化为intnum2 str(num2) # 将值类型转化为strprint(关键词数 num2) # 打印关键词数num2 int(num2)if num2 200: # if num2200,原值返回num2 int(num2)elif num2 1000: # if num21000,赋值为1num2 1else:num2 200 # else num2200except:print(该网站没有关键词) # if没有获取到值则显示无关键词pass # 用pass防止报错return num2 # 返回最终关键词总数num2# 获取爬取的关键词
def getdata(word):word word # URLnum2 num(word) # 获取关键词总数num2 num2 / 20 # 获取页数num3 math.ceil(num2) # 去除小数取整num3 str(num3) # 转化为strprint(页面数: num3) # 输出总页数num3 int(num3)Datalist [] # 用来存储已经经过处理的信息print({:^20}\t{:^12}\t{:^12}\t.format(关键词, 指数, 排名)) # 打印表头for i in range(0, num3): # 在1-num3页内爬取关键词的信息i i 1 # i 1 用于翻页操作i str(i)url http://rank.chinaz.com/ word -0---0- i # 这个根据网页的翻页特点 站长工具网址翻页后参数变化是每页的数字1data ask_url(url) # 获取到源代码data data.decode(utf-8) # 将数据进行utf-8编码# 从源代码中提取信息if data ! :html_data etree.HTML(data) # 解析网页# 使用xpath定位到全部要获取的内容 然后在这个里面循环提取div_list html_data.xpath(//ul[class_chinaz-rank-new5b])for item in div_list:data_item [] # 在循环里面建立一个空的列表存储关键词一页的全部数据# 关键词movie_rank item.xpath(li[1]//a[1]//text())[0]data_item.append(movie_rank)# PC指数movie_name item.xpath(li[4]//text())[0]data_item.append(movie_name)# 排名paiming item.xpath(li[2]//a//text())[0]data_item.append(paiming)print({:^20}\t{:^8}\t{:^8}\t.format(movie_rank, movie_name, paiming))# 先将一行的数据存储在data_item中,再将data_item存入DatalistDatalist.append(data_item)return Datalist# 将html获取的信息存入Excel表格中
def savedata(Datalist, Savapath):col (关键词, PC指数, 排名) # Excel的表头 也就是列数house_list xlwt.Workbook(encodingutf-8, style_compression0) # 创建workbook对象worksheet house_list.add_sheet(同行网站关键词, cell_overwrite_okTrue) # 新建工作区设为可覆盖for i in range(0, 3): # 写入表头 一共3列worksheet.write(0, i, col[i]) # 写入表头 一共3列try:for i in range(0, num2): # 写入数据 也就是行数 num2为总行数print(正在写入第%d条数据 % (i 1))item Datalist[i] # 获取的数据的索引for j in range(0, 3): # 列数worksheet.write(i 1, j, item[j]) # i 1是从第1行开始写 第0行被表头占用了 item[j]将数据按照数据的索引进行写入house_list.save(Savapath) # 存储except:print(存入Execl失败)pass# 读取文本中关键词
def lead_keywords():print( 正在导入关键词列表..)try:with open(./url_list.txt, r, encodinggbk) as f: # 打开文本keywords f.readlines() # 按行读取关键词except:with open(./url_list.txt, r, encodingutf-8) as f:keywords f.readlines()print(keywords)print( 正在导入关键词列表成功)return keywords# 主函数
def seomain():words lead_keywords() # 从文本中导入批量URLfor word in words: # 循环URLword.strip() # 对URL去除空格word word.replace(\n, ) # 对URL去除换行符star_time time.time() # 开始时间print(word) # 输出当前执行的URLfilename str(word datetime.datetime.now().strftime(%Y%m%d-%H-%M-%S)) # 形成文件名(URL系统时间)try:main(word, filename) # 执行main()函数,将(URL,文件名)传入main()函数end_time time.time() # 结束时间print(爬取完毕! 一共耗时: %.2f秒 % (end_time - star_time)) # 打印耗时except:passprint(已写入Execl到程序当前目录下,文件名为系统时间.xls)time.sleep(10) # 停止10秒# 程序入口
if __name__ __main__:seomain() # 执行主函数
