网站开发的好处,网络营销方式案例及分析,如何开发游戏软件,全球电商平台排行榜前言
场景大致是会上传一个几十页的扫描件PDF#xff0c;让AI在当中找出我需要的字段#xff0c;本文会隐去具体行业信息和具体的AI提示词内容#xff0c;只分享技术相关内容#xff0c;请见谅。 AI模型选择
针对我们行业的使用场景#xff0c;我主要测试了GPT、Claude以…前言
场景大致是会上传一个几十页的扫描件PDF让AI在当中找出我需要的字段本文会隐去具体行业信息和具体的AI提示词内容只分享技术相关内容请见谅。 AI模型选择
针对我们行业的使用场景我主要测试了GPT、Claude以及国内知名的AI公司产品。
下标中”PDF可“的代表能够识别扫描件PDF。
相似字符有3组测试用例1组为6与8相似2组为0与O相似3组为0与Q相似。
信息匹配应该是有2个组。
文件歧义号码查找是指一个页面上有两个编号通过我的提示语去查找正确的那个号码。 平台 翻墙 能够读取的文件类型 横向文件识别 特例对比相似字符识别 特例对比信息匹配 特例对比歧义号码查找 速度 备注 KIMI 否 PDF可 3对第一个6和8都错了第二个O和0没识别出来。 只分了1个组每组里面2个字段不对1个字段没找到。 找错 OK 豆包 否 PDF可 1对第二个O和0没识别出来第三个压根没识别 只分了1个组每组里面1个字段不对5个字段没找到。 OK GPT 是 扫描版pdf不支持 文件单次最多10 / / / / / Claude 是 扫描版pdf不支持 文件单次支持5 / / / / / 通义 否 扫描版pdf不支持 / / / / / 百川智能 否 PDF可 1、3对第二个O和0没识别出来。 分了2组。2个字段没有按要求提供多个字段没找到。 OK 讯飞星火 否 PDF可 找不到 找不到 找不到 找不到 非常慢 少有的交白卷选手 智谱清言 否 PDF可 1、3对第二个O和0没识别出来。 分了2个组2个字段没有按要求提供2个字段不对1个字段没找到。 找错 很慢 当我给AI的提示词有任何错误如输入文字打错、json的某几个引号打成中文引号了都会影响他的输出唯一一个对输入语言没有纠错的模型。 文心一言 否 PDF可 1、3对第二个O识别成一个小圆圈但是至少把0和O区别是看出来了 一塌糊涂直接把我输入的Json字段瞎替换了 超级无敌慢上传之后文件要先阅读很久然后才能提交问题 海螺ai 否 PDF可 1、3对第二个O和0没识别出来。 分了两个组匹配的字段全对除了2个字段没有按要求翻译成中文。 OK 360智脑 否 PDF可 / 数据全部都是瞎填的 一塌糊涂直接把我输入的Json字段瞎替换了 找错 超级无敌慢 天工ai 否 不能上传文件 / / / / / 万知 否 PDF可 1、3对第二个O和0没识别出来。 分了2个组2个字段没有按要求提供3个字段不对3个字段没找到。 慢解析要时间被迫阅读全文要时间然后才能提问 上传文档不能同时提问每次都要等他月度总结完才能提问
实验下来发现提示词非常重要调整了好多天的提示词后AI返回的结果已经尽可能符合我们希望得到的结果了。
我们最满意海螺ai的效果但是当我们想接到系统发现海螺的Minimax公司下提供的接口上传文件后返回的是文件id无法喂给ChatCompletion接口使用。
发现Kimi的Moonshoot接口有上传文件功能样例是会先把pdf转换成文字内容再做逻辑判断。 提示词
先总结一下我最后使用的提示词吧。
需要明确AI的定位、为我们做些什么。如果有整理好需要AI提取的内容直接整理成Json形式让它填写更好也便于我们对接其他系统。给AI可执行的步骤有特别的定义可以写定义如果没有也可以去掉。特殊要求中的1我觉得十分重要避免AI胡乱填写其他则填写一些具体的逻辑相关需求如哪个字段要怎么查找需要做什么处理。 职位你是一个勤劳的具备图像信息提取、信息规整的智能助手不要进行任何形式的偷懒。 职能我有一个文件其中包含了大量信息。我已经准备了一个JSON模板其中列出了我需要从PDF中提取的所有字段和结构。请根据PDF内容填写这个JSON模板。以下是JSON模板的示例结构 { 字段1:, 字段2:, 字段3:[ { 字段3-1:, 字段3-2:, 字段3-3: } ], } 请按照以下步骤操作 阅读PDF文件仔细阅读PDF文件确保理解所有内容填写JSON模板根据PDF文件中的信息填写上述JSON模板中的相应字段。定义 XXXX内容为XX特殊要求 对于没有在文件中找到的信息请保留空白不要胡编乱造。字段1需要在中文内容中查找验证信息在完成填写后请仔细检查所有信息确保没有遗漏或错误。尤其要再次核对是否都满足我的特殊要求了。输出结果将填好的JSON模板作为最终结果提供给我。 请确认你理解了我的要求并开始处理文件。如果有任何不清楚的地方请随时询问。 虽然复制是复杂了一些但是目前测试下来效果还是蛮不错的。 Python API使用代码
其实我开始是试过使用Dify的Dify现在支持上传PDF了但是支持使用PDF内容的模型非常少。加上后来希望直接对接到我们现有系统里于是还是直接上手试了一下API。 纯使用Moonshot的我这边就不贴出来了文档里面写的很清晰。 https://platform.moonshot.cn/docs/api/files#%E4%B8%8A%E4%BC%A0%E6%96%87%E4%BB%B6 借这个思路我尝试了使用Moonshot提供的读取PDF接口虽然他的OCR效果不能说最佳但是使用确实方便…拿到信息后丢给Minimax来分析。我需要的场景下确实这么做出来的结果要比纯Moonshot的更好一些。
如果涉及到返回结果里面有易涉及隐私问题的文本信息包括但不限于邮箱、域名、链接、证件号、家庭住址等Minimax是默认会返回时候打星号。一定要记得加上mask_sensitive_info:False。
# -*- coding: utf-8 -*-
import requests
from pathlib import Path
from openai import OpenAI
import re
import jsongroup_id
api_key # --在这里使用MiniMax账户管理-接口密钥中API KEY进行接入client OpenAI(api_keyMOONSHOT_API_KEY, # 在这里将 MOONSHOT_API_KEY 替换为你从 Kimi 开放平台申请的 API Keybase_urlhttps://api.moonshot.cn/v1,
)# moonshot.pdf 是一个示例文件, 我们支持文本文件和图片文件对于图片文件我们提供了 OCR 的能力
# 上传文件时我们可以直接使用 openai 库的文件上传 API使用标准库 pathlib 中的 Path 构造文件
# 对象并将其传入 file 参数即可同时将 purpose 参数设置为 file-extract注意目前文件上传
# 接口仅支持 file-extract 一种 purpose 值。
file_object client.files.create(filePath(720380146.pdf), purposefile-extract)# 获取结果
# file_content client.files.retrieve_content(file_idfile_object.id)
# 注意某些旧版本示例中的 retrieve_content API 在最新版本标记了 warning, 可以用下面这行代替
# 如果使用旧版本的 SDK可以继续延用 retrieve_content API
file_content client.files.content(file_idfile_object.id).text
#print(file_content)url https://api.minimax.chat/v1/text/chatcompletion_pro?GroupId group_id
headers {Content-Type:application/json, Authorization:Bearer api_key}payload {bot_setting:[{bot_name:MM智能助理,content:MM智能助理是一款由MiniMax自研的没有调用其他产品的接口的大型语言模型。MiniMax是一家中国科技公司一直致力于进行大模型相关的研究。,}],messages:[{sender_type:USER, sender_name:username, text:file_content},{sender_type:USER, sender_name:username, text:提示词}],reply_constraints:{sender_type:BOT, sender_name:MM智能助理},model:abab6.5s-chat,tokens_to_generate:2048,temperature:0.01,top_p:0.95,mask_sensitive_info:False
}response requests.request(POST, url, headersheaders, jsonpayload)
response_msg json.loads(response.text)# 提取 choices[0].messages[0].text 的内容
result response_msg[choices][0][messages][0][text]#提取当中JSON返回的内容其他部分为描述文字这个场景下系统不需要
# 尝试找到JSON的开始和结束位置
try:# 找到第一个{的位置start result.index({)# 找到最后一个}的位置end result.rindex(})# 提取JSON字符串json_str result[start:end1]# 解析JSON字符串data json.loads(json_str)print(data)
except (ValueError, json.JSONDecodeError) as e:#没有找到json内容print(系统错误)
