合肥网站建设维护,灯饰网站开发,做网站的接私活犯法吗,东莞网站公司推广技巧在不断发展的人工智能 (AI) 领域中#xff0c;检索增强生成 (RAG) 已成为一种强大的技术。
RAG 弥合了大型语言模型 (LLM) 与外部知识源之间的差距#xff0c;使 AI 系统能够提供更全面和信息丰富的响应。然而#xff0c;一个关键因素有时会缺失——透明性。
我们如何能够…在不断发展的人工智能 (AI) 领域中检索增强生成 (RAG) 已成为一种强大的技术。
RAG 弥合了大型语言模型 (LLM) 与外部知识源之间的差距使 AI 系统能够提供更全面和信息丰富的响应。然而一个关键因素有时会缺失——透明性。
我们如何能够确定 RAG 系统呈现的信息是基于可靠来源的
本文介绍了一种引人注目的解决方案使用结构化生成的带源突出显示的 RAG。这种创新的方法不仅利用了 RAG 检索相关信息的能力还突出了支持生成答案的具体来源。喜欢本文记得收藏、点赞、关注希望大模型技术交流的文末加入我们。 理解基础构件
在深入探讨之前让我们先建立核心概念的基础
结构化生成这种技术引导大型语言模型 (LLM) 的输出遵循预定义的结构。可以将其想象为为 LLM 提供一张路线图确保生成的文本符合特定格式。
带源突出显示的 RAG 的优势
RAG 和结构化生成的整合提供了诸多优点
增强信任和透明性突出显示的来源使用户能够评估所呈现信息的可信度。这有助于培养对系统的信任并使用户能够深入了解支持证据。改善可解释性通过明确指出答案背后的来源系统变得更加透明。用户能够深入了解推理过程便于调试和进一步探索知识库。更广泛的适用性这种方法适用于用户不仅需要答案还需要理由和清晰的审计记录的场景。它在教育、研究和法律领域尤为有价值。 代码实现
让我们深入了解使用结构化生成的带源突出显示的 RAG。
步骤 I安装库
!pip install pandas json huggingface_hub pydantic outlines accelerate -q步骤 II导入库
import pandas as pd
import json
from huggingface_hub import InferenceClientpd.set_option(display.max_colwidth, None)repo_id meta-llama/Meta-Llama-3-8B-Instructllm_client InferenceClient(modelrepo_id, timeout120)步骤 III提示模型
RELEVANT_CONTEXT
Document:The weather is really nice in Paris today.
To define a stop sequence in Transformers, you should pass the stop_sequence argument in your pipeline or model.
RAG_PROMPT_TEMPLATE_JSON
Answer the user query based on the source documents.Here are the source documents: {context}You should provide your answer as a JSON blob, and also provide all relevant short source snippets from the documents on which you directly based your answer, and a confidence score as a float between 0 and 1.
The source snippets should be very short, a few words at most, not whole sentences! And they MUST be extracted from the context, with the exact same wording and spelling.Your answer should be built as follows, it must contain the Answer: and End of answer. sequences.Answer:
{{answer: your_answer,confidence_score: your_confidence_score,source_snippets: [snippet_1, snippet_2, ...]
}}
End of answer.Now begin!
Here is the user question: {user_query}.
Answer:
USER_QUERY How can I define a stop sequence in Transformers? prompt RAG_PROMPT_TEMPLATE_JSON.format(contextRELEVANT_CONTEXT, user_queryUSER_QUERY)print(prompt)输出
Answer the user query based on the source documents.Here are the source documents:
Document:The weather is really nice in Paris today.
To define a stop sequence in Transformers, you should pass the stop_sequence argument in your pipeline or model.You should provide your answer as a JSON blob, and also provide all relevant short source snippets from the documents on which you directly based your answer, and a confidence score as a float between 0 and 1.
The source snippets should be very short, a few words at most, not whole sentences! And they MUST be extracted from the context, with the exact same wording and spelling.Your answer should be built as follows, it must contain the Answer: and End of answer. sequences.Answer:
{answer: your_answer,confidence_score: your_confidence_score,source_snippets: [snippet_1, snippet_2, ...]
}
End of answer.Now begin!
Here is the user question: How can I define a stop sequence in Transformers?.
Answer:继续代码
answer llm_client.text_generation(prompt,max_new_tokens1000,
)answer answer.split(End of answer.)[0]
print(answer)输出
{answer: You should pass the stop_sequence argument in your pipeline or model.,confidence_score: 0.9,source_snippets: [stop_sequence, pipeline or model]
}步骤 IV受限解码
from pydantic import BaseModel, confloat, StringConstraints
from typing import List, Annotatedclass AnswerWithSnippets(BaseModel):answer: Annotated[str, StringConstraints(min_length10, max_length100)]confidence: Annotated[float, confloat(ge0.0, le1.0)]source_snippets: List[Annotated[str, StringConstraints(max_length30)]]# Using text_generation
answer llm_client.text_generation(prompt,grammar{type: json, value: AnswerWithSnippets.schema()},max_new_tokens250,temperature1.6,return_full_textFalse,
)
print(answer)# Using post
data {inputs: prompt,parameters: {temperature: 1.6,return_full_text: False,grammar: {type: json, value: AnswerWithSnippets.schema()},max_new_tokens: 250,},
}
answer json.loads(llm_client.post(jsondata))[0][generated_text]
print(answer)输出
{answer: You should pass the stop_sequence argument in your modemÏallerbate hassceneable measles updatedAt原因,confidence: 0.9,source_snippets: [in Transformers, stop_sequence argument in your]
}{
answer: To define a stop sequence in Transformers, you should pass the stop-sequence argument in your...giÃ,
confidence: 1,
source_snippets: [seq이야,stration nhiên thị ji是什么hpeldo]
}结论
使用结构化生成的带源突出显示的 RAG 代表了 AI 驱动的信息检索领域的重要进步。
通过为用户提供透明且有据可查的答案这种技术培养了信任促进了可解释性并扩大了 RAG 系统在各个领域的适用性。
随着 AI 的不断发展这种创新方法为用户能够自信地依赖 AI 生成的信息奠定了基础使他们理解背后的推理和证据。
技术交流资料
技术要学会分享、交流不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。
成立了算法面试和技术交流群相关资料、技术交流答疑均可加我们的交流群获取群友已超过2000人添加时最好的备注方式为来源兴趣方向方便找到志同道合的朋友。 方式①、微信搜索公众号机器学习社区后台回复加群 方式②、添加微信号mlc2040备注来自CSDN 技术交流 通俗易懂讲解大模型系列 重磅消息《大模型面试宝典》(2024版) 正式发布 重磅消息《大模型实战宝典》(2024版) 正式发布 做大模型也有1年多了聊聊这段时间的感悟 用通俗易懂的方式讲解大模型算法工程师最全面试题汇总 用通俗易懂的方式讲解不要再苦苦寻觅了AI 大模型面试指南含答案的最全总结来了 用通俗易懂的方式讲解我的大模型岗位面试总结共24家9个offer 用通俗易懂的方式讲解大模型 RAG 在 LangChain 中的应用实战 用通俗易懂的方式讲解ChatGPT 开放的多模态的DALL-E 3功能好玩到停不下来 用通俗易懂的方式讲解基于扩散模型Diffusion,文生图 AnyText 的效果太棒了 用通俗易懂的方式讲解在 CPU 服务器上部署 ChatGLM3-6B 模型 用通俗易懂的方式讲解ChatGLM3-6B 部署指南 用通俗易懂的方式讲解使用 LangChain 封装自定义的 LLM太棒了 用通俗易懂的方式讲解基于 Langchain 和 ChatChat 部署本地知识库问答系统 用通俗易懂的方式讲解Llama2 部署讲解及试用方式 用通俗易懂的方式讲解一份保姆级的 Stable Diffusion 部署教程开启你的炼丹之路 用通俗易懂的方式讲解LlamaIndex 官方发布高清大图纵览高级 RAG技术 用通俗易懂的方式讲解为什么大模型 Advanced RAG 方法对于AI的未来至关重要 用通俗易懂的方式讲解基于 Langchain 框架利用 MongoDB 矢量搜索实现大模型 RAG 高级检索方法
