网站建设叁金手指花总6,深圳it培训,大学生电子商务专业网站设计,网络口碑营销名词解释标题详情作者简介愚公搬代码头衔华为云特约编辑#xff0c;华为云云享专家#xff0c;华为开发者专家#xff0c;华为产品云测专家#xff0c;CSDN博客专家#xff0c;CSDN商业化专家#xff0c;阿里云专家博主#xff0c;阿里云签约作者#xff0c;腾讯云优秀博主华为云云享专家华为开发者专家华为产品云测专家CSDN博客专家CSDN商业化专家阿里云专家博主阿里云签约作者腾讯云优秀博主腾讯云内容共创官掘金优秀博主亚马逊技领云博主51CTO博客专家等。近期荣誉2022年度博客之星TOP22023年度博客之星TOP22022年华为云十佳博主2023年华为云十佳博主2024年华为云十佳博主等。博客内容.NET、Java、Python、Go、Node、前端、IOS、Android、鸿蒙、Linux、物联网、网络安全、大数据、人工智能、U3D游戏、小程序等相关领域知识。欢迎点赞、✍评论、⭐收藏 文章目录 前言一、网络爬虫详细概述 1. 网络爬虫概述 2. 网络爬虫的分类2.1 通用网络爬虫2.2 聚焦网络爬虫2.3 增量式网络爬虫 3. 网络爬虫的基本原理 二、搭建开发环境1.安装Anaconda2.PyCharm 的下载与安装3.配置 PyCharm4.测试 PyCharm 前言
随着互联网的快速发展数据的获取与处理变得愈发重要。在这个信息爆炸的时代如何有效地收集和利用网络上的海量数据成为了各行业面临的一大挑战。网络爬虫作为一种自动化获取网页信息的技术正逐渐成为数据分析、市场研究、竞争对手监控等领域不可或缺的工具。
本文将带领读者初步了解网络爬虫的基本概念、工作原理以及常见应用场景。我们将探讨爬虫的构建过程包括如何发送请求、解析网页、存储数据等关键步骤。同时还会涉及一些爬虫开发中的注意事项如如何遵循网站的robots.txt协议、避免被封禁等。
一、网络爬虫详细概述
在这个大数据的时代里网络信息量变得越来越大、越来越多此时如果通过人工的方式筛选自己所感兴趣的信息是一件很麻烦的事情爬虫技术便可以自动高效地获取互联网中的指定信息因此网络爬虫在互联网中的地位变得越来越重要。 1. 网络爬虫概述
网络爬虫又被称为网络蜘蛛、网络机器人在某些社区中经常被称为网页追逐者是一种按照指定的规则网络爬虫的算法自动浏览或抓取网络中信息的程序。通过Python可以很轻松地编写爬虫程序或脚本。
在生活中网络爬虫非常常见搜索引擎的工作离不开网络爬虫。例如百度搜索引擎的爬虫名字叫作百度蜘蛛Baiduspider。百度蜘蛛是百度搜索引擎的一个自动程序它每天都会在海量的互联网信息中进行爬取收集并整理互联网上的网页、图片、视频等信息。然后当用户在百度搜索引擎中输入关键词时百度会从收集的网络信息中找出相关内容并按照一定顺序将信息展现给用户。
百度蜘蛛的工作过程中搜索引擎会构建一个调度程序来调度百度蜘蛛的工作这些调度程序使用一定的算法来实现。采用不同的算法爬虫的工作效率和爬取结果会有所不同。因此在学习爬虫时不仅需要了解爬虫的实现过程还需要了解一些常见的爬虫算法。在特定情况下开发者还需要自己制定相应的算法。 2. 网络爬虫的分类
网络爬虫可以按照实现的技术和结构分为通用网络爬虫、聚焦网络爬虫和增量式网络爬虫。在实际的网络爬虫应用中通常是这几类爬虫的组合。下面分别介绍这几类网络爬虫。
2.1 通用网络爬虫
通用网络爬虫又叫作全网爬虫Scalable Web Crawler其爬行范围和数量巨大。由于爬取的数据是海量数据因此对爬行速度和存储空间要求较高。通用网络爬虫在爬行页面的顺序要求上相对较低同时由于待刷新的页面太多通常采用并行工作方式因此需要较长时间才可以刷新一次页面。这种网络爬虫主要应用于大型搜索引擎有着非常高的应用价值。通用网络爬虫主要由以下部分构成
初始URL集合URL队列页面爬行模块页面分析模块页面数据库链接过滤模块
2.2 聚焦网络爬虫
聚焦网络爬虫Focused Crawler也叫主题网络爬虫Topical Crawler是指按照预先定义好的主题有选择地进行相关网页爬取的一种爬虫。与通用网络爬虫相比聚焦网络爬虫不会将目标资源定位在整个互联网中而是将目标网页定位在与主题相关的页面中。这种爬虫极大地节省了硬件和网络资源保存的页面数量较少速度也更快。聚焦网络爬虫主要应用于对特定信息的爬取为某一类特定的人群提供服务。
2.3 增量式网络爬虫
增量式网络爬虫Incremental Web Crawler对应增量式更新。增量式更新指的是在更新时只更新变化的部分而未改变的部分则不更新。因此增量式网络爬虫在爬取网页时只会爬行新产生或发生更新的页面对于没有发生变化的页面则不会爬取。这样可以有效减少数据下载量减小时间和空间上的消耗但在爬行算法上增加了一些难度。 3. 网络爬虫的基本原理 网络爬虫的基本工作流程如下
获取初始的URL该URL地址是用户自己制定的初始爬取的网页。爬取对应URL地址的网页时获取新的URL地址。将新的URL地址放入URL队列。从URL队列中读取新的URL然后依据新的URL爬取网页同时从新的网页中获取新的URL地址重复上述爬取过程。设置停止条件。如果没有设置停止条件爬虫会一直爬取下去直到无法获取新的URL地址或者达到停止条件后爬虫将会停止爬取。
二、搭建开发环境
1.安装Anaconda
Anaconda 是一个完全免费的用于大规模数据处理、预测分析和科学计算的工具不仅集成了 Python 解析器还包含许多第三方模块如 requests 模块、Beautiful Soup 模块、lxml 模块等适合网络爬虫的开发。 打开浏览器访问 Anaconda 官方下载页面。 下载适用于 Windows 系统的安装文件选择 64-Bit Graphical Installer。如图 1.2 所示。 下载完成后双击运行下载的安装文件。在出现的 “Welcome to Anaconda3” 窗口中单击 Next 按钮。如图 1.3 所示。 在 “License Agreement” 窗口中单击 I Agree 按钮。如图 1.4 所示。 在 “Select Installation Type” 窗口中选择 “All Users (requires admin privileges)”然后单击 Next 按钮。如图 1.5 所示。 在 “Choose Install Location” 窗口中选择安装路径建议不要使用中文路径然后单击 Next 按钮。如图 1.6 所示。 在 “Advanced Installation Options” 窗口中选中 “Add Anaconda to the system PATH environment variable” 复选框然后单击 Install 按钮进行安装。如图 1.7 所示。
安装过程较长请耐心等待。安装进度如图 1.8 所示。 安装完成后进入 “Installation Complete” 窗口单击 Next 按钮。如图 1.9 所示。 在 “Anaconda 与 JetBrains 合作关系推荐使用 PyCharm” 窗口中单击 Next 按钮。如图 1.10 所示。 在 “Thanks for installing Anaconda3!” 窗口中根据个人需求选择复选框笔者选择取消然后单击 Finish 按钮。如图 1.11 所示。 打开命令提示符窗口输入 conda list 并按 Enter 键查看已安装的模块列表。如图所示。
2.PyCharm 的下载与安装
PyCharm 是由 JetBrains 公司开发的 Python 集成开发环境具有智能代码编辑、自动代码格式化、代码完成、智能提示、重构、单元测试、自动导入和一键代码导航等功能。 打开 PyCharm 官方下载页面。 选择 Windows 平台下载 PyCharm Community 版。如图 1.13 所示。 双击 PyCharm 安装包进行安装。在欢迎界面单击 Next 按钮如图 1.14 所示。 在 “Choose Install Location” 窗口中选择安装路径不建议设置在默认的 C 盘单击 Next 按钮。如图 1.15 所示。 在 “Installation Options” 窗口中设置桌面快捷方式选择 64-bit launcher关联文件选中 .py 复选框单击 Next 按钮。如图 1.16 所示。 在 “Choose Start Menu Folder” 窗口中单击 Install 按钮进行安装。如图 1.17 所示。 安装完成后在 “Completing PyCharm Community Edition Setup” 窗口中单击 Finish 按钮。如图 1.18 所示。
3.配置 PyCharm 双击 PyCharm 桌面快捷方式启动 PyCharm 程序。选择是否导入配置文件选择不导入单击 OK 按钮。进入阅读协议页如图 1.19 所示。 在 “Set UI theme” 窗口中根据个人需求选择主题样式选择 Light单击 Next: Featured plugins 按钮。如图 1.20 所示。 在 “Download featured plugins” 窗口中直接单击 “Start using PyCharm” 按钮进入欢迎界面。如图 1.21 所示。 在欢迎页单击 “Create New Project” 创建新工程文件。如图 1.22 所示。 在 “New Project” 窗口中选择工程文件保存路径然后单击 Create 按钮。如图 1.23 所示。 工程创建完成后关闭 “Tip of the Day” 窗口选择 File - Settings 选项。如图 1.24 所示。 在 “Settings” 窗口中选择 Project: demo - Project Interpreter在右侧的下拉列表中选择 “Show All…”打开 “Project Interpreters” 窗口。如图 1.25 所示。 在 “Project Interpreters” 窗口中单击右侧的 “” 按钮。如图 1.26 所示。 在 “Add Python Interpreter” 窗口中选择左侧的 “System Interpreter” 选项然后在右侧的下拉列表中选择 Anaconda 中的 python.exe单击 OK 按钮。如图 1.27 所示。 返回 “Project Interpreters” 窗口选择新添加的 Anaconda 中的 python.exe 编译器单击 OK 按钮。如图 1.28 所示。 返回 “Settings” 窗口此时将自动显示 Anaconda 内已安装的所有 Python 模块单击 OK 按钮。如图 1.29 所示。
4.测试 PyCharm 右击新建好的 demo 项目在弹出的快捷菜单中选择 New - Python file 命令必须选择 Python file 项这个至关重要如图 1.30 所示。 在新建文件对话框中输入文件名 hello_world按 Enter 键完成新建 Python 文件工作。如图 1.31 所示。 在代码编辑区输入代码 print(hello world!)如图 1.32 所示。 右击代码编辑区在弹出的快捷菜单中选择 Run hello_world 命令运行测试代码。如图 1.33 所示。 如果程序代码没有错误将显示运行结果如图 1.34 所示。
