做网站的首页下拉列表,wordpress 仿制,现货交易平台合法的有几家,佛山网站建设设计公司哪家好经常有人抱怨AI知识库精确度不够、答非所问。我有时候想想#xff0c;会觉得其实AI也挺冤的#xff0c;因为很有可能不是它能力不行#xff0c;而是你一开始给的文档就有问题#xff0c;导致它提取文本有错误、不完整#xff0c;那后边一连串的检索、生成怎么可能好呢会觉得其实AI也挺冤的因为很有可能不是它能力不行而是你一开始给的文档就有问题导致它提取文本有错误、不完整那后边一连串的检索、生成怎么可能好呢
比如最常见的PDF格式我们阅读起来是没啥难度但大模型要提取文本就遭罪了。
第一PDF的结构很复杂有文本、有图像、有表格还有字体和布局信息。大模型很难理清楚这些结构自然也就不好从中提取出文本来。
第二不同PDF可能使用不同的字符编码这会导致文本解析错误。
第三即使成功提取出文本也可能丢失段落、标题这些很重要的信息造成对内容的理解出现差错。
所以要提升AI知识库的效果先把PDF转换成方便大模型提取文本的格式。本期视频我介绍两个工具。一个是Mathpix现成的产品我在newtype社群里推荐过。另一个是Marker更早之前我也在社群内推荐过。正好有小伙伴问具体怎么部署我一会儿就具体讲讲。
先来看Mathpix。
这款产品桌面端和移动端都有。我用的是网页版。它支持上传PDF和图片。PDF的话一般是论文图片的话一般是手写的笔记或者老师的板书。导入资料后它会进行识别然后要么存在软件里作为一条笔记、多端同步要么导出成Markdown、Word等格式。
作为测试我这边上传一篇大概8页的论文它里边包含了PDF最常见的复杂格式。大概几秒钟Mathpix就处理完成了。然后选择导出Markdown就能得到一个md格式的文件。
把它放到Obsidian里可以看到转换效果挺不错的原本分成左右两栏的内容它都给归到一栏里小标题、分段、表格什么的都在。
我之所以选择Obsidian是因为它的笔记本来就是md格式并且Copilot这款AI插件有RAG功能。现在有了PDF转Markdown的工具以后我对论文的阅读、消化还有记笔记就可以在一个软件里搞定了。
如果你是STEM学生或者科研工作者肯定会爱死Mathpix——一键OCR就可以输出LaTeX公式太方便了。如果你有大量PDF文档想喂给大模型作为参考资料也可以考虑订阅一个月不到5美金。
多说两句我个人很喜欢Mathpix创始人的思路。他提出一个概念叫Micro-SaaS意思是从一个细小且集中的用户痛点切入提供极度专业化的产品和功能。这种专注利基市场的打法很适合今天这个AI时代。
OKMathpix是最省心的解决方案。当然如果你不想花这点钱的话也行那就本地部署Marker来转换。
Marker是我在GitHub上找到的一个项目人气挺高的。它同样是把PDF转成Markdown支持多语种可以把公式转成LateX可以把图片也一并提取出来支持GPU、CPU。
要部署很容易还是那句话有手就行。
第一步老规矩创建环境然后激活这个就不用我介绍了。
第二步安装PyTorch。大家可以去官网根据自己的情况做选择然后通过特定的命令去下载、安装。如果没安装CUDA那就先去老黄那边下一个。
第三步安装Marker。pip install就可以。
这三步完成后就可以开始使用了。
根据GitHub上的指导我们需要通过一行命令来运行。这行命令分为四个部分
第一部分也就是命令的开头告诉机器你是要转一个文档还是多个文档。如果是一个的话就用marker single。
第二部分告诉机器需要转换的文档存在哪里也就是文件地址。
第三部分告诉机器转换完之后该把文档存到哪里。
第四部分是一些参数配置比如默认batch是2个需要消耗大约3G的显存。这个数值设得越高需要的显存越多转换速度也就越快。
理解这行命令的意思每次使用就非常简单了。如果你的文件夹一直不变其实就改一下文件名就好。
作为演示我还是用刚才那个论文咱们可以对比一下效果。
运行命令就能看到每一步的进度条。大家注意看这边Marker会先做检查然后找到reading order阅读顺序最后把md文件存到指定文件夹内。除了正文论文里的表格都单独提取出来了。
我用VS Code预览一下成品。可以看到效果还不错。
不过官方也强调了他们并不能做到100%成功提取公式、表格因为PDF这个东西太复杂、太奇怪了没法打保票。所以转换完成之后建议大家还是快速看一眼、检查一遍。
如果要转换多个文档也是同样思路用命令设置存放的位置和输出的位置可以把整个文件夹里的PDF全都转换了。我这边就不演示了大家试一次就全明白了。
随着大模型的持续爆火各行各业都在开发搭建属于自己企业的私有化大模型那么势必会需要大量大模型人才同时也会带来大批量的岗位“雷军曾说过站在风口猪都能飞起来”可以说现在大模型就是当下风口是一个可以改变自身的机会就看我们能不能抓住了。
那么我们该如何学习大模型
作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
一、大模型全套的学习路线
学习大型人工智能模型如GPT-3、BERT或任何其他先进的神经网络模型需要系统的方法和持续的努力。既然要系统的学习大模型那么学习路线是必不可少的下面的这份路线能帮助你快速梳理知识形成自己的体系。
L1级别:AI大模型时代的华丽登场 L2级别AI大模型API应用开发工程 L3级别大模型应用架构进阶实践 L4级别大模型微调与私有化部署 一般掌握到第四个级别市场上大多数岗位都是可以胜任但要还不是天花板天花板级别要求更加严格对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。
以上的AI大模型学习路线不知道为什么发出来就有点糊高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 二、640套AI大模型报告合集
这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。 三、大模型经典PDF籍
随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。 四、AI大模型商业化落地方案 以上的AI大模型学习资料都已上传至CSDN需要的小伙伴可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。
