装饰公司网站建站,自己建网站模板,网站空间哪里的好,天宁网站建设文章目录 feapder 的使用feaplat 爬虫管理系统部署 feapder 的使用
feapder是一款上手简单#xff0c;功能强大的Python爬虫框架 feapder 官方文档 文档写的很详细#xff0c;可以直接上手。 基本命令#xff1a;
创建爬虫项目
feapder create -p first-project创建爬虫 … 文章目录 feapder 的使用feaplat 爬虫管理系统部署 feapder 的使用
feapder是一款上手简单功能强大的Python爬虫框架 feapder 官方文档 文档写的很详细可以直接上手。 基本命令
创建爬虫项目
feapder create -p first-project创建爬虫
feapder create -s spider_name spider_type创建 item
feapder create -i item_namefeaplat 爬虫管理系统
特性
支持任何python脚本包括不限于feapder、scrapy支持浏览器渲染支持有头模式。浏览器支持playwright、selenium 支持部署服务可自动负载均衡 支持服务器集群管理支持监控监控内容可自定义 支持起多个实例如分布式爬虫场景 支持弹性伸缩 支持4种定时启动方式支持自定义worker镜像如自定义java的运行环境、机器学习环境等即根据自己的需求自定义feaplat分为master-调度端和worker-运行任务端docker一键部署架设在docker swarm集群上
部署
详细文档地址跟着文档一步一步走就没什么大问题的。 感觉还是很好用的 ~~
