找源码的网站,wap是什么意思,网站建设项目收费标准,网站防注入一、获取所有文章地址 1.进csdn首页#xff0c;点击自己的头像 2.在个人主页界面#xff0c;按F12打开控制台#xff0c;并找到network#xff0c;找到get-business开头的请求#xff0c;右键copy他的url 3.选择console,输入一下代码#xff0c;其中fetch里面的url是你刚… 一、获取所有文章地址 1.进csdn首页点击自己的头像 2.在个人主页界面按F12打开控制台并找到network找到get-business开头的请求右键copy他的url 3.选择console,输入一下代码其中fetch里面的url是你刚才复制的地址并把里面的size改为100(这个是返回的文章内容数上限为100)page是页码数如果你的文章数大于100那么后面的请求需要将page1改为2,3,4...一直到你请求完所有的文章这里以page1,size100请求的数据来进行处理 fetch(https://blog.csdn.net/community/home-api/v1/get-business-list?page1size100businessTypeblogorderbynoMorefalseyearmonthusernameqq_35204012) .then(response { if (!response.ok) { throw new Error(Network response was not ok); } return response.json(); // 假设服务器响应的是JSON格式的数据 }) .then(data { console.log(data); // 处理并显示响应的数据 }) .catch(error { console.error(There has been a problem with your fetch operation:, error); });执行后的结果 可以看到这里打印了一百篇博文数据 4.将鼠标放在list上并右键copy object 5.将内容去掉[]后复制到脚本的data里面data是一个列表里面包含若干字典注意格式(需要将所有的false替换为False,true替换为True),根据自己的博文数量修改page的值找到所有的文章信息复制到脚本的data数据里面 二、使用脚本进行采集 注意需要将所有文章全部开放不能有付费或者VIP文章需要将data里面的内容替换为你自己的记得在脚本目录创建一个md文件夹用来放md文件 import pandas as pd
import requestsimport html2textdata [
{articleId: 139602661,title: 微信AI机器人使用说明-2024本地部署版(非wechaty),description: 微信机器人实现的功能先看视频的演示效果2024年最新稳定的本地部署AI微信机器人使用方法演示可以对话可以语音可以绘画支持主账号管理好友权限管理。,url: https://blog.csdn.net/qq_35204012/article/details/139602661,type: 1,top: True,forcePlan: False,viewCount: 1581,commentCount: 0,editUrl: https://mp.csdn.net/console/editor/html/139602661,postTime: 2024-06-11 16:31:56,diggCount: 34,formatTime: 2024.06.11,picList: [https://img-blog.csdnimg.cn/img_convert/cf52fbe57e404f30babcdda6f1ef2c08.png],collectCount: 6}
]def html_to_md(html_content, output_file):将HTML内容转换为Markdown并保存到指定的文件。:param html_content: str, 要转换的HTML内容:param output_file: str, 输出的Markdown文件名(包括路径)# 创建一个html2text转换器对象h html2text.HTML2Text()# 使用转换器的handle方法将HTML转换为Markdownmd_content h.handle(html_content)# 将转换后的Markdown内容写入文件with open(output_file, w, encodingutf-8) as f:f.write(md_content)if __name__ __main__:url_list [{url: item[url], title: item[title]} for item in data]# 解析地址base_url https://www.helloworld.net/getUrlHtml?url# 解析错误的urlerr_list []for item in url_list:try:print(item[url])res requests.get(base_url item[url])content res.json().get(html)title item[title]print(title已完成)# 调用函数将HTML转换为Markdown并保存为文件html_to_md(content, os.path.join(md, f{title}.md)) except Exception as e: print(e) err_list.append(item[url]) if err_list: print(err_list) df pd.DataFrame([{name: err_list}]) df.to_csv(err.csv, indexFalse)导出的结果如下 三、博客园上传文章 1.选择导入文章也可以在随笔里面上传md 2.选择自己的markdown文件 3.编辑随笔或文章 4.拉取图片许多文章他是有图片的图片如果有防盗链的话就没办法显示所以需要手动拉取一下图片 5.拉取成功后发布即可
