怎么制作网站准考证在网上打印,设计的素材网站有哪些,网站建设与维护网课,wordpress更换网址后台怎么进四、#xff08;1#xff09;网络爬虫入门及准备工作#xff08;爬虫及数据可视化#xff09; 1#xff0c;网络爬虫入门1.1 百度指数1.2 天眼查1.3 爬虫原理1.4 搜索引擎原理 2#xff0c;准备工作2.1 分析爬取页面2.2 爬虫拿到的不仅是网页还是网页的源代码2.3 爬虫就是… 四、1网络爬虫入门及准备工作爬虫及数据可视化 1网络爬虫入门1.1 百度指数1.2 天眼查1.3 爬虫原理1.4 搜索引擎原理 2准备工作2.1 分析爬取页面2.2 爬虫拿到的不仅是网页还是网页的源代码2.3 爬虫就是将网页中的内容提取出来。2.4 爬虫需要找到规律2.5 使用开发者工具进行调试找到要寻找的数据位置2.6 主程序入口If _name_”_main_”:2.7 引入包或库from test import t12.8 引入其他模块报错两种解决方式1使用控制台方式这里下载可能会因为网络的不稳定而下载失败2可进入setting中的interpreter解释器中添加包 2.9 爬虫需要引入的包 1网络爬虫入门
主要看课件
https://movie.douban.com/top250 此次任务只需对表面的也的分析不用点进去的详细信息
接下来的1-2天进行 大概两天
后面项目做的需要扩展内容时间充分
使用程序复制网络上的数据
网络数据非常多但数据价值股市、金融数据保险等信息
电影天堂流量很大可以在百度指数查看每天的访问人次
1.1 百度指数 电影天堂和吃鸡对比
可能你觉得很简单的网站流量也是非常大的
如电影天堂网站很多信息并不是其自己写的很多信息是来自豆瓣的
很多流量大的网站 只需要将内容爬取出来
这么多的流量怎么赚钱通过视频引流使用广告变现如右下角广告变现
搜索引擎就是网络爬虫
1.2 天眼查 天眼查的网站怎么赢利有些信息不能看需要充值才能看卖的不是信息本身卖的是信息之间的关系。基于数据分析提供方案的。就是数据采集聚合。
原来的基本应用产生大量数据现在要将数据整合产生新的价值 爬虫可以完成特定行业的。
一些付费视频前提是付过钱了然后爬取可能有加密反爬取等
浏览器本身展示的看的写的程序只是将我们看到的东西存起来我们想要的数据
爬虫根据每个网页分析
1.3 爬虫原理 1.4 搜索引擎原理 这两天的内容是前半段将爬取的数据放到数据库中而搜索引擎在后半段需要将爬取的东西做一个索引用户搜索时可以将索引快速定位到数据库中的数据。 每次搜索不是爬虫再爬取一次而是数据展现
这里后面没讲索引只是讲了数据的可视化展现实际思路是一样的
准备工作看目标网页怎么分析看那些是我们想要的内容并且找到还包括写程序的输出框架问题预防解决的
获取数据很多的库发起请求模拟浏览器发起获取网页信息
页面解析页面解析库正则表达式等库
保存数据保存到Excel或数据库需要很多库
2准备工作
2.1 分析爬取页面
准备工作是用来分析要爬取的页面的
https://movie.douban.com/top250?start25filter
上方连接是第2页 问号后是参数名和参数值是链接 start25意思是从26个后提供共25个电影显示到页面 filter 可以不要
上来就看连接的特点网络爬虫都是根据连接模拟浏览器访问网页现在看到的所有东西
2.2 爬虫拿到的不仅是网页还是网页的源代码
返回的就是html网页里面嵌入了js及css代码而已 2.3 爬虫就是将网页中的内容提取出来。 2.4 爬虫需要找到规律 2.5 使用开发者工具进行调试找到要寻找的数据位置 在network中点击刷可以看到发起请求到显示结束中间浏览器向服务器发出了这么多请求因为这些请求的作用一直延长时间中间有交互只要有交互就会延长可以点击红色圆圈停止记录。
点击刷新只要内容是想要的就点击停止记录。 比如将鼠标放到开始 Response headers是我们发给服务器的要求服务器的适配服务器返回的信息就是整个网页
Headers下的所有内容全是浏览器发送给服务器的请求。 User-agent使用哪个浏览器需要标明如果没有服务器可能不返回信息 Cookie如果是需要一些登录后才能进行的内容的爬取就必须学会存储cookie和读取cookie Headers是发送网络请求给服务器的消息服务器通过此消息来鉴定我们的身份 Cookie是服务器能标识客户端信息保存在本地的信息里面是加密的登录信息还是客户端行为信息保存在本地的内容。当访问豆瓣时cookie可能反映了很多我的内容如地理位置、ip地址、浏览的以前的关键字
记录行为不仅在本地每次访问都会给对方法消息服务器可以通过此进行分析
宏观可以知道有多少人使用谷歌浏览器多少windows系统有多少人的分辨率多少 根据此层级结构可以快速锁定位置
有很多的库可以通过此路径直接找到内容甚至批量将剩下内容拿到
2.6 主程序入口If name”main”:
If _name_”_main_”:如果执行主方法当运行的函数名是main的时候起始2main就是程序被解释的时候默认的方法名。
定义程序执行的入口
这样写使程序安照自己的组织来在上面写程序入口执行过程看
2.7 引入包或库from test import t1
库就是将别人写好的代码在当前文件中直接调用调用如下
库的内容如上图所示
引入包或者库就是别人写好的函数可以在我们的文件中调用
from test import t1from的文件夹是包文件夹中有个具体文件此文件就是具体的模块import t1模块 模块中是有函数的上方就是引入自定义模块
2.8 引入其他模块报错两种解决方式
若引入其他模块
最常用引入第三方模块
1使用控制台方式这里下载可能会因为网络的不稳定而下载失败 2可进入setting中的interpreter解释器中添加包
下面界面在安装时是可以退出的不用在控制台安装可能会安装很长时间这样就能直接进行其他的操作
2.9 爬虫需要引入的包
以下的包是我们必须用到的
import urllib.request,urllib.error #指定url获取网页数据
from bs4 import BeautifulSoup #网页解析获取数据
import re #正则表达式进行文字匹配
import xlwt #进行Excel操作
import sqlite3 #进行SQLite操作Python3中将urllib2中的功能整合到urllib中了使用urllib就可以了
