青岛网站开发培训,正规购物网站建设,下载新华社app,我国最大的c2c电商平台目录
爬虫的分类
1.通用网络爬虫#xff1a;搜索引擎的爬虫
2.聚焦网络爬虫#xff1a;针对特定网页的爬虫
3.增量式网络爬虫
4.深层网络爬虫
通用爬虫与聚焦爬虫的原理
通用爬虫#xff1a;
聚焦爬虫#xff1a; 爬虫的分类 网络爬虫按照系统结构和实现技术#…目录
爬虫的分类
1.通用网络爬虫搜索引擎的爬虫
2.聚焦网络爬虫针对特定网页的爬虫
3.增量式网络爬虫
4.深层网络爬虫
通用爬虫与聚焦爬虫的原理
通用爬虫
聚焦爬虫 爬虫的分类 网络爬虫按照系统结构和实现技术大致可分为4类即通用网络爬虫、聚焦网络爬虫、增量网络爬虫和深层次网络爬虫。 1.通用网络爬虫搜索引擎的爬虫 比如用户在百度搜索引擎上检索对应关键词时百度将对关键词进行分析处理从收录的网页中找出相关的再根据一定的排名规则进行排序后展现给用户那么就需要尽可能多的互联网的优质网页。 从互联网中搜集网页采集信息这些网页信息用于为搜索引擎建立索引从而提供支持它决定着整个引擎系统的内容是否丰富信息是否即时因此其性能的优劣直接影响着搜索引擎的效果。 2.聚焦网络爬虫针对特定网页的爬虫 也叫主题网络爬虫爬取的 目标网页定位在与主题相关的页面中 主要为某一类特定的人群提供服务可以节省大量的服务器资源和带宽资源。聚焦爬虫在实施网页抓取时会对内容进行处理筛选尽量保证只抓取与需求相关的网页信息。 比如要获取某一垂直领域的数据或有明确的检索需求此时需要过滤掉一些无用的信息。 例如那些比较价格的网站就是爬取的其他网站的商品。 3.增量式网络爬虫 增量式网络爬虫Incremental Web Crawler所谓增量式即增量式更新。增量式更新指的是再更新的时候只更新改变的地方而为改变的地方则不更新所以该爬虫只爬取内容发生变化的网页或者新产生的网页。比如招聘网爬虫 4.深层网络爬虫
深层网络爬虫Deep Web Crawler首先什么是深层页面
在互联网中网页按存在方式划分为表层页面和深层页面。所谓表层页面指的是不需要提交表单使用静态的链接能够到达的静态页面而深层页面是需要调教一定的关键词之后才能获取的页面。在互联网中深层页面数量往往比表层页面多得多。
深层网络爬虫主要由URL列表、LVS【虚拟服务器】列表、爬行控制器、解析器、LVS控制器、表单分析器、表单处理器、响应分析器等构成。
后面我们主要学习聚焦爬虫聚焦爬虫学会了其他类型的爬虫也就能轻而易举的写出来 通用爬虫与聚焦爬虫的原理
通用爬虫
第一步抓取网页url start_url发送请求在获取响应解析 从响应解析中获取到了需要的新的url将这些URL放入待抓取URL队列 取出待抓取URL解析DNS得到主机的IP并将URL对应的网页下载下来存储进已下载网页库中并且将这些URL放进已抓取URL队列。 分析已抓取URL队列中的URL分析其中的其他URL并且将URL放入待抓取URL队列从而进入下一个循环.... 第二步数据存储 搜索引擎通过爬虫爬取到的网页将数据存入原始页面数据库。其中的页面数据与用户浏览器得到的HTML是完全一样的。 搜索引擎蜘蛛在抓取页面时也做一定的重复内容检测一旦遇到访问权重很低的网站上有大量抄袭、采集或者复制的内容很可能就不再爬行。 第三步预处理 搜索引擎将爬虫抓取回来的页面进行各种步骤的预处理。 提取文字 中文分词 消除噪音比如版权声明文字、导航条、广告等…… 索引处理 链接关系计算 特殊文件处理 .... 除了HTML文件外搜索引擎通常还能抓取和索引以文字为基础的多种文件类型如 PDF、Word、WPS、XLS、PPT、TXT 文件等。我们在搜索结果中也经常会看到这些文件类型。
但搜索引擎还不能处理图片、视频、Flash 这类非文字内容也不能执行脚本和程序。
第四步提供检索服务网站排名
搜索引擎在对信息进行组织和处理后为用户提供关键字检索服务将用户检索相关的信息展示给用户。 聚焦爬虫 第一步start_url 发送请求 第二步获取响应response 第三步解析响应若响应中有需要的新的url地址重复第二步 第四步提取数据 第五步保存数据 通常我们会把获取响应解析放在一个步骤中完成所以说聚焦爬虫的步骤通俗的来讲一共四步
爬虫的基本分类和原理就介绍到这里了我们下一期再见
分享一张壁纸
