为什么要做个人网站,做外贸在哪个网站比较好,郑州高端网站制作,做网站外快文章目录 赛题要求一、赛事背景二、赛事任务三、评审规则1.平台说明2.数据说明3.评估指标4.评测及排行 四、作品提交要求五、 运行BaselineStep1#xff1a;下载相关库Step2#xff1a;配置导入Step3#xff1a;模型测试Step4#xff1a;数据读取Step5#xff1a;Prompt设… 文章目录 赛题要求一、赛事背景二、赛事任务三、评审规则1.平台说明2.数据说明3.评估指标4.评测及排行 四、作品提交要求五、 运行BaselineStep1下载相关库Step2配置导入Step3模型测试Step4数据读取Step5Prompt设计Step6主函数启动Step7生成提交文件Step8下载 output.json 文件 六、补充-- 应用的库--- tqdm--- json 赛题要求
一、赛事背景
在当今数字化时代企业积累了丰富的对话数据这些数据不仅是客户与企业之间交流的记录更是隐藏着宝贵信息的宝库。在这个背景下群聊对话分角色要素提取成为了企业营销和服务的一项重要策略。
群聊对话分角色要素提取的理念是基于企业对话数据的深度分析和挖掘。通过对群聊对话数据进行分析企业可以更好地理解客户的需求、兴趣和行为模式从而精准地把握客户的需求和心理提供更加个性化和优质的服务。这不仅有助于企业更好地满足客户的需求提升客户满意度还可以为企业带来更多的商业价值和竞争优势。
群聊对话分角色要素提取的研究将企业对话数据转化为可用的信息和智能的洞察为企业营销和服务提供了新的思路和方法。通过挖掘对话数据中隐藏的客户行为特征和趋势企业可以更加精准地进行客户定位、推广营销和产品服务实现营销效果的最大化和客户价值的最大化。这将为企业带来更广阔的发展空间和更持续的竞争优势。
二、赛事任务
从给定的客服与客户的群聊对话中, 提取出指定的字段信息待提取的全部字段见下数据说明。
三、评审规则
1.平台说明
参赛选手需基于讯飞星火大模型V3.5完成任务。允许使用大模型微调的方式进行信息抽取, 但微调的基座模型仅限星火大模型。
关于星火V3.5资源组委会将为报名参赛选手统一发放API资源福利选手用个人参赛账号登录讯飞开放平台https://www.xfyun.cn/ 前往控制台中查看使用。关于微调训练资源选手用参赛账户登陆大模型训练平台 https://training.xfyun.cn/overview 可领取本次比赛的训练资源福利。
2.数据说明
赛题方提供了184条真实场景的群聊对话数据以及人工标注后的字段提取结果其中训练数据129条测试数据 55条。按照各类字段提取的难易程度共设置了1、2、3三种难度分数。待提取的字段以及提取正确时的得分规则如下:
序号字段名称是否单值是否可为空难度分数答案是否唯一备注1基本信息-姓名是是1是2基本信息-手机号码是是1是3基本信息-邮箱是是1是4基本信息-地区是是1是5基本信息-详细地址是是1是6基本信息-性别是是1是7基本信息-年龄是是1是8基本信息-生日是是1是9咨询类型否是2是10意向产品否是3是11购买异议点否是3是12客户预算-预算是否充足是是2是13客户预算-总体预算金额是是2是14客户预算-预算明细是是3否15竞品信息是是2是16客户是否有意向是是1是17客户是否有卡点是是1是18客户购买阶段是是2是19下一步跟进计划-参与人否是2是20下一步跟进计划-时间点是是2是21下一步跟进计划-具体事项是是3否
备注:
1可为空的字段当判定无相应信息、无法做出判断等情况统一取值为空字符串
2对于非单值字段请使用list来表示
3.评估指标
测试集的每条数据同样包含共21个字段, 按照各字段难易程度划分总计满分36分。每个提取正确性的判定标准如下:
1对于答案唯一字段将使用完全匹配的方式计算提取是否正确提取正确得到相应分数否则为0分
2对于答案不唯一字段将综合考虑提取完整性、语义相似度等维度判定提取的匹配分数最终该字段得分为 “匹配分数 * 该字段难度分数”
每条测试数据的最终得分为各字段累计得分。最终测试集上的分数为所有测试数据的平均得分。
4.评测及排行
1本赛题均提供下载数据选手在本地进行算法调试在比赛页面提交结果。
2排行按照得分从高到低排序排行榜将选择团队的历史最优成绩进行排名。
四、作品提交要求
1、文件格式按照 json格式提交
2、文件大小无要求
3、提交次数限制每支队伍每天最多3次
4、文件详细说明编码为UTF-8具体格式参考提交示例
5、关于大模型的使用说明限制。
• 如果使用大模型进行信息抽取, 本次仅限使用星火大模型。
• 为了排除人工校验、修正等作弊方式本次比赛除了提交答案之外排行榜前3名选手需要提供完整的源代码进行审核要求抽取的结果必须可以准确复现。
• 注排行榜前3名有审核不通过现象时依次按得分顺延。满分36分原则上最终入围决赛三甲得分不得低于20分。
• 允许使用大模型微调的方式进行信息抽取, 微调的基座模型仅限星火大模型。 五、 运行Baseline
项目链接 基于星火大模型的群聊对话分角色要素提取挑战-baseline - 飞桨AI Studio星河社区 (baidu.com) 进入之后在 探索 - 项目大厅 中进入该页面点击 运行一下 选择运行环境后点击确定 出现图示启动成功单击 进入 进入界面后可以直接操作运行
Step1下载相关库 !pip install --upgrade -q spark_ai_python注意 此处的 ! 为jupyter notebook 形式的魔法命令
Step2配置导入 from sparkai.llm.llm import ChatSparkLLM, ChunkPrintHandlerfrom sparkai.core.messages import ChatMessageimport json#星火认知大模型Spark3.5 Max的URL值其他版本大模型URL值请前往文档https://www.xfyun.cn/doc/spark/Web.html查看SPARKAI_URL wss://spark-api.xf-yun.com/v3.5/chat#星火认知大模型调用秘钥信息请前往讯飞开放平台控制台https://console.xfyun.cn/services/bm35查看SPARKAI_APP_ID SPARKAI_API_SECRET SPARKAI_API_KEY #星火认知大模型Spark3.5 Max的domain值其他版本大模型domain值请前往文档https://www.xfyun.cn/doc/spark/Web.html查看SPARKAI_DOMAIN generalv3.5在此处设置调用星火大模型的基础信息
Step3模型测试 def get_completions(text):messages [ChatMessage(roleuser,contenttext)]spark ChatSparkLLM(spark_api_urlSPARKAI_URL,spark_app_idSPARKAI_APP_ID,spark_api_keySPARKAI_API_KEY,spark_api_secretSPARKAI_API_SECRET,spark_llm_domainSPARKAI_DOMAIN,streamingFalse,)handler ChunkPrintHandler()a spark.generate([messages], callbacks[handler])return a.generations[0][0].text# 测试模型配置是否正确text 你好get_completions(text)该处使用代码的形式构建了大模型的问答处理功能比较简单只有text一个参数
Step4数据读取 def read_json(json_file_path):读取json文件with open(json_file_path, r) as f:data json.load(f)return datadef write_json(json_file_path, data):写入json文件with open(json_file_path, w) as f:json.dump(data, f, ensure_asciiFalse, indent4)# 读取数据train_data read_json(dataset/train.json)test_data read_json(dataset/test_data.json)该处代码主要为了获取比赛提供的数据
Step5Prompt设计 此处详细的设置了提示词的内容, 具体内容如下
# prompt 设计PROMPT_EXTRACT 你将获得一段群聊对话记录。你的任务是根据给定的表单格式从对话记录中提取结构化信息。在提取信息时请确保它与类型信息完全匹配不要添加任何没有出现在下面模式中的属性。表单格式如下info: ArrayDict(基本信息-姓名: string | , // 客户的姓名。基本信息-手机号码: string | , // 客户的手机号码。基本信息-邮箱: string | , // 客户的电子邮箱地址。基本信息-地区: string | , // 客户所在的地区或城市。基本信息-详细地址: string | , // 客户的详细地址。基本信息-性别: string | , // 客户的性别。基本信息-年龄: string | , // 客户的年龄。基本信息-生日: string | , // 客户的生日。咨询类型: string[] | [], // 客户的咨询类型如询价、答疑等。意向产品: string[] | [], // 客户感兴趣的产品。购买异议点: string[] | [], // 客户在购买过程中提出的异议或问题。客户预算-预算是否充足: string | , // 客户的预算是否充足。示例充足, 不充足客户预算-总体预算金额: string | , // 客户的总体预算金额。客户预算-预算明细: string | , // 客户预算的具体明细。竞品信息: string | , // 竞争对手的信息。客户是否有意向: string | , // 客户是否有购买意向。示例有意向, 无意向客户是否有卡点: string | , // 客户在购买过程中是否遇到阻碍或卡点。示例有卡点, 无卡点客户购买阶段: string | , // 客户当前的购买阶段如合同中、方案交流等。下一步跟进计划-参与人: string[] | [], // 下一步跟进计划中涉及的人员客服人员。下一步跟进计划-时间点: string | , // 下一步跟进的时间点。下一步跟进计划-具体事项: string | // 下一步需要进行的具体事项。)请分析以下群聊对话记录并根据上述格式提取信息**对话记录**\{content}\请将提取的信息以JSON格式输出。不要添加任何澄清信息。输出必须遵循上面的模式。不要添加任何没有出现在模式中的附加字段。不要随意删除字段。**输出**\[{{基本信息-姓名: 姓名,基本信息-手机号码: 手机号码,基本信息-邮箱: 邮箱,基本信息-地区: 地区,基本信息-详细地址: 详细地址,基本信息-性别: 性别,基本信息-年龄: 年龄,基本信息-生日: 生日,咨询类型: [咨询类型],意向产品: [意向产品],购买异议点: [购买异议点],客户预算-预算是否充足: 充足或不充足,客户预算-总体预算金额: 总体预算金额,客户预算-预算明细: 预算明细,竞品信息: 竞品信息,客户是否有意向: 有意向或无意向,客户是否有卡点: 有卡点或无卡点,客户购买阶段: 购买阶段,下一步跟进计划-参与人: [跟进计划参与人],下一步跟进计划-时间点: 跟进计划时间点,下一步跟进计划-具体事项: 跟进计划具体事项}}, ...]\Step6主函数启动
import jsonclass JsonFormatError(Exception):def __init__(self, message):self.message messagesuper().__init__(self.message)def convert_all_json_in_text_to_dict(text):提取LLM输出文本中的json字符串dicts, stack [], []for i in range(len(text)):if text[i] {:stack.append(i)elif text[i] }:begin stack.pop()if not stack:dicts.append(json.loads(text[begin:i1]))return dicts# 查看对话标签def print_json_format(data):格式化输出json格式print(json.dumps(data, indent4, ensure_asciiFalse))def check_and_complete_json_format(data):required_keys {基本信息-姓名: str,基本信息-手机号码: str,基本信息-邮箱: str,基本信息-地区: str,基本信息-详细地址: str,基本信息-性别: str,基本信息-年龄: str,基本信息-生日: str,咨询类型: list,意向产品: list,购买异议点: list,客户预算-预算是否充足: str,客户预算-总体预算金额: str,客户预算-预算明细: str,竞品信息: str,客户是否有意向: str,客户是否有卡点: str,客户购买阶段: str,下一步跟进计划-参与人: list,下一步跟进计划-时间点: str,下一步跟进计划-具体事项: str}if not isinstance(data, list):raise JsonFormatError(Data is not a list)for item in data:if not isinstance(item, dict):raise JsonFormatError(Item is not a dictionary)for key, value_type in required_keys.items():if key not in item:item[key] [] if value_type list else if not isinstance(item[key], value_type):raise JsonFormatError(fKey {key} is not of type {value_type.__name__})if value_type list and not all(isinstance(i, str) for i in item[key]):raise JsonFormatError(fKey {key} does not contain all strings in the list)return dataJsonFormatError 类用于自定义异常。 convert_all_json_in_text_to_dict 函数用于从文本中提取JSON字符串并转换为字典。 print_json_format 函数用于格式化输出JSON数据。 check_and_complete_json_format 函数用于检查和补全JSON数据的格式确保每个JSON对象包含所有必需的键并且每个键的值类型正确。
from tqdm import tqdmretry_count 5 # 重试次数result []error_data []for index, data in tqdm(enumerate(test_data)):index 1is_success Falsefor i in range(retry_count):try:res get_completions(PROMPT_EXTRACT.format(contentdata[chat_text]))infos convert_all_json_in_text_to_dict(res)infos check_and_complete_json_format(infos)result.append({infos: infos,index: index})is_success Truebreakexcept Exception as e:print(index:, index, , error:, e)continueif not is_success:data[index] indexerror_data.append(data)初始化变量 retry_count 被设置为 5表示每个数据项最多尝试处理 5 次。 result 是一个空列表用于存储成功处理的数据结果。 error_data 是一个空列表用于存储处理失败的数据项。 循环处理数据 使用 tqdm 库的 enumerate 函数来遍历 test_data这样可以同时获取数据项和其索引并且在控制台显示一个进度条。 index 变量表示当前数据项的索引从 1 开始。 is_success 变量用于标记当前数据项是否处理成功。 重试机制 对于每个数据项代码会尝试最多 retry_count 次来处理它。 在每次尝试中代码会调用 get_completions 函数来获取结果并使用 convert_all_json_in_text_to_dict 和 check_and_complete_json_format 函数来处理结果。 如果处理成功即没有抛出异常则将结果添加到 result 列表中并将 is_success 设置为 True然后跳出重试循环。 错误处理 如果在任何一次尝试中抛出异常代码会捕获该异常并打印错误信息包括当前数据项的索引和异常信息。 如果所有重试都失败即 is_success 仍然为 False则将当前数据项添加到 error_data 列表中以便后续处理。
Step7生成提交文件
# 保存输出write_json(output.json, result)Step8下载 output.json 文件
在左边文件夹栏中点击下载生成的文件回到比赛平台提交结果即可。2024 iFLYTEK A.I.开发者大赛-讯飞开放平台 (xfyun.cn) 在 提交结果 中可以看到相应的分数 六、补充
– 应用的库
— tqdm
python库 - tqdm-CSDN博客
— json
python库 - json-CSDN博客 如有错误敬请批评指正
