学生做网站软件,怎样做一个简单的网站首页,大庆建设网站首页,旅游网站内容规划特点每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗#xff1f;订阅我们的简报#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会#xff0c;成为AI领… 每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗订阅我们的简报深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同从行业内部的深度分析和实用指南中受益。不要错过这个机会成为AI领域的领跑者。点击订阅与未来同行 订阅https://rengongzhineng.io/ 输出防护栏是一组规则和检查机制旨在确保大型语言模型LLM的输出准确、适当并符合用户期望。在本次指南中重点介绍如何开发一个特定检查幻觉的输出防护栏。 1. 构建评估集 假设这是一个为客户支持团队开发的自动化支持代理。我们将为这个代理提供关于如何处理退货、退款、反馈等事宜的政策知识库并期望模型在与客户互动时遵循这些政策。首先使用GPT-4o生成一组需要遵循的政策。 system_input_prompt
你是一名能为虚构公司生成支持代理政策的助手。你将收到一个主题如退货、退款、反馈并为该主题生成一个处理客户咨询的示例政策。政策应包含处理客户问题的逐步说明包括客户属于某一类别时的决策逻辑并提供采取具体行动的要求。
user_policy_example_1 退货政策
assistant_policy_example_1
退货政策1. **询问客户为什么要更换订单**- 将他们的问题分类为以下几种情况之一- 损坏他们收到的产品有损坏- 满意度客户对产品不满意不喜欢产品- 不必要他们不再需要该物品
2a. **如果退货类别为“损坏”**- 询问客户是否有损坏物品的照片- 如果物品确实损坏继续执行步骤3- 如果物品未损坏通知客户这不符合我们的退货要求他们不符合退款条件- 跳过步骤3直接进入步骤4
2b. **如果退货类别为“满意度”或“不必要”**- 询问客户是否可以提供产品质量的反馈- 如果订单是在30天内下的通知他们可以获得全额退款- 如果订单是在31-60天内下的通知他们可以获得50%的部分退款- 如果订单超过60天通知他们不符合退款条件
3. **如果客户符合退货或退款条件**- 询问客户是否确认他们想要退货或退款- 一旦确认处理他们的请求
4. **在结束工单前提供额外的支持**- 询问客户是否还有其他需要帮助的地方。
# 生成政策的函数
def generate_policy(policy: str) - str:input_message user_policy_input.replace({{POLICY}}, policy)response client.chat.completions.create(messages [{role: system, content: system_input_prompt},{role: user, content: user_policy_example_1},{role: assistant, content: assistant_policy_example_1},{role: user, content: input_message},],modelgpt-4o)return response.choices[0].message.content# 生成多种政策
def generate_policies() - List[str]:policies [产品反馈政策, 运输政策, 保修政策, 账户删除, 投诉处理]with ThreadPoolExecutor() as executor:policy_instructions_list list(executor.map(generate_policy, policies))return policy_instructions_listpolicy_instructions generate_policies() 接下来我们利用这些政策生成遵循或不遵循这些指示的客户互动示例。 2. 构建幻觉防护栏 开发防护栏时的指导原则包括提供描述性指标以评估响应的准确性确保关键术语的一致性以及从最先进的模型开始开发。通过这些原则我们构建出一个防护栏系统并测量其性能。 guardrail_system_message 你是一名高度专业化的助手负责审查聊天机器人回复以识别和标记任何不准确或幻觉。在分析用户消息时请彻底分析响应内容考虑以下几点1. 知识准确性消息是否准确反映了知识库中的信息不仅要评估直接提及的内容还要评估上下文推断的知识。2. 相关性消息是否直接回应用户的问题或陈述检查响应是否逻辑上符合用户的最后一条消息保持对话连贯性。3. 政策合规性消息是否遵循公司政策评估是否存在错误信息、过度承诺或逻辑不一致。确保响应礼貌、不歧视且实用。为执行任务你将收到以下信息1. 知识库文章 - 这些是验证助手消息内容的真理来源。2. 聊天记录 - 提供用户与助手之间对话的上下文。3. 助手消息 - 需要审核的助手消息。对于助手最近响应的每一句话请根据以下标准评分1. 事实准确性句子是否符合知识库中的内容2. 相关性句子是否直接回应用户的问题或陈述3. 政策合规性句子是否符合公司政策4. 上下文连贯性句子是否保持或增强了对话的连贯性
返回的响应必须为JSON格式数组其中每个JSON对象代表一个评估的句子。接下来我们使用以上逻辑生成并测试一批客户互动并计算幻觉检测的精度和召回率。 # 计算精度和召回率
precision precision_score(df[accurate], df[hallucination])
recall recall_score(df[accurate], df[hallucination])print(f\nPrecision: {precision:.2f}, Recall: {recall:.2f}) 结果分析 最终结果显示防护栏系统具有很高的精度和召回率表明它能够准确识别模型输出中的幻觉。这些防护栏为大型语言模型的输出提供了强有力的保障确保输出的准确性和一致性。
