长沙机械网站建设,辽宁省住房城乡建设厅网站,郑州模板网站制作,网站推广费用大概需要多少钱解析-BeautifulSoup
1.基本简介
1.BeautifulSoup简称:bs4
2.什么是Beatifulsoup?Beautifulsoup#xff0c;和1xm1一样#xff0c;是一个html的解析器#xff0c;主要功能也是解析和提取数据
3.优缺点?缺点: 效率没有1xm1的效率高优点: 接口设计人性化#xff0c;使用方…解析-BeautifulSoup
1.基本简介
1.BeautifulSoup简称:bs4
2.什么是Beatifulsoup?Beautifulsoup和1xm1一样是一个html的解析器主要功能也是解析和提取数据
3.优缺点?缺点: 效率没有1xm1的效率高优点: 接口设计人性化使用方便创建对象
服务器响应的文件生成对象
soup Beautifulsoup(response.read().decode()1xml)
本地文件生成对象
soup Beautifulsoup(open( 1.html),1xml)
注意: 默认打开文件的编码格式gbk所以需要指定打开编码格式BeautifulSoup基本使用
from bs4 import BeautifulSoupsoup BeautifulSoup(open(spider_解析_bs4基本使用.html, encodingutf-8), lxml)# 根据标签名查找节点,找到的是第一个符合条件的数据
# print(soup.a)
# 获取的属性和属性值
# print(soup.a.attrs)# bs4的一些函数
# find
# 返回的是第一个符合条件的数据
# print(soup.find(a))# 根据title的值来找到对应的标签对象
# print(soup.find(a, titlea2))# 根据class的值来找到对应的标签对象 注意的是class需要添加下划线
# print(soup.find(a, class_a1))# find_all 返回的是一个列表 并且返回了所有的a标签
# print(soup.find_all(a))# limit的作用是查找前几个数据
# print(soup.find_all(li, limit2))# select推荐使用
# select方法返回的是一个列表 并且会返回多个数据
# print(soup.select(a))# 可以通过.代表class 我们把这种操作叫做类选择器
# print(soup.select(.a1))# print(soup.select(#l1))# 属性选择器---通过属性来寻找对应的标签
# 查找l1标签中有id的标签
# print(soup.select(li[id]))# 查找到li标签中id为l2的标签
# print(soup.select(li[idl2]))# 层级选择器
# 后代选择器
# 找到div下面的li
# print(soup.select(div li))# 子代选择器
# 某标签的第一级子标签
# 注意: 很多计算机编程语言中 如果不加空格就不会输出内容 但是在bs4中不会报错可以显示内容
# print(soup.select((div ul li)))# 找到a标签和li标签的所有的对象
# print(soup.select(a, li))# 节点信息
# 获取节点内容
# obj soup.select(#d1)[0]
# 如果标签对象中 只有内容 那么string和get_text()都可以使用
# 如果标签对象中 除了内容还有标签 那么string就获取不到数据 而get_text()是可以获取数据
# 我们一般情况下 推荐使用get text()
# print(obj.string)
# print(obj.get_text())# 节点的属性
obj soup.select(#p1)[0]
# name是标签的名字
# print(obj.name)
# 将属性值作为一个字典返回
# print(obj.attrs)# 获取节点的属性
print(obj.attrs.get(class))
print(obj.get(class))
print(obj[class])
爬取星巴克菜单网页内容实例
import urllib.request
from bs4 import BeautifulSoupurl https://www.starbucks.com.cn/menu/request urllib.request.Request(url)response urllib.request.urlopen(request)content response.read().decode(utf-8)soup BeautifulSoup(content, lxml)# //*[classgrid padded-3 product]//strong
# //*[classgrid padded-3 product]//div/stylename_list soup.select(ul[classgrid padded-3 product] strong)
tu_list soup.select(ul[classgrid padded-3 product] div)for i in range(len(name_list)):name name_list[i].get_text().replace(/, ∕)img_url tu_list[i].attrs.get(style).split()[1].split()[0]basic_url https://www.starbucks.com.cnimg basic_url img_urlprint(name,img)
