简单班级网站模板,叶梓 wordpress 主题,郑州室内设计学校,装修公司网站设计规划1、算法框架解释 针对这个案例#xff0c;现在对爬虫的基础使用做总结如下#xff1a; 1、算法框架 (1)设定传入参数 ~url: 当前整个页面的url:当前页面的网址 当前页面某个局部的url:打开检查 ~data:需要爬取数据的关键字现在对爬虫的基础使用做总结如下 1、算法框架 (1)设定传入参数 ~url: 当前整个页面的url:当前页面的网址 当前页面某个局部的url:打开检查 ~data:需要爬取数据的关键字即搜索内容 ~param:需要获取哪些(类型)的数据即数据类型 ~headers:UA伪装 (2)得到get/post请求响应 根据”检查“结果进行判断: get请求:responserequests.get(url**,data**,param**,headers**) post请求:responserequests.post(url**,data**,param**,headers**) (3)将得到的请求响应json化数据 此处以request.get/post请求数据为dict为例: dict_objresponse.json() #在这里你得到的其实是一个python对象也就是python的字典 (4)持久化存储 ~得到存储地址和修改权限 fpopen(目录,w,encodingUTF-8) ~将python对象编码成Json字符串格式转化python(dict)——json json.dump(返回的json数据dict_obj,fp存储地址fp,ensure_asciiFalse) ~结束 2、代码解析
import requests
import json
if __name__ __main__:print(开始爬取)# (1)post_url https://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?opkeywordpost_data {kw: 上海}post_param {cname: ,pid: ,keyword: 上海,pageIndex: 1,pageSize: 10}post_header {User-Agent: Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Mobile Safari/537.36}# (2)response requests.post(urlpost_url, datapost_data, paramspost_param, headerspost_header)# (3)dict_obj response.json()# print(type(dict_obj))# (4)fp open(./html/KenDeJi.json, w, encodingUTF-8)json.dump(dict_obj, fpfp, ensure_asciiFalse)print(over)
