访问网站获取qq,如何运营电商平台,东台专业做网站,网站开发工程师工资一、引子
我们需要通过一些手段来提升LLM生成内容质量#xff0c;主要的有下面三项#xff0c;本文将主要介绍RAG。 1. 提示工程#xff08;Prompt Engineering#xff09; 通过精心设计的提示#xff08;Prompt#xff09;来提升输出的质量
2. 模型微调#xff08;Fi…一、引子
我们需要通过一些手段来提升LLM生成内容质量主要的有下面三项本文将主要介绍RAG。 1. 提示工程Prompt Engineering 通过精心设计的提示Prompt来提升输出的质量
2. 模型微调Fine-tune 模型微调是指在已有的预训练模型比如GPT-4o、Llama 3.3等基础上使用特定的数据集进行二次训练以调整模型参数使其能够在特定领域的任务上表现更好。
3. 检索增强生成Retrieval-Augmented GenerationRAG 检索增强生成是一种利用信息检索来优化LLM输出的技术通过在生成结果之前引用训练数据之外的知识库丰富了上下文从而增强生成内容的准确性。RAG的好处既能保证时效性又能避免高昂的微调成本
RAG的本质就是根据用户查询从外部知识库即使更新中检索相关的知识随后以附加内容的形式添加到提示中增强LLM的生成内容。 二、RAG工作流
RAG的工作流分成索引、检索、生成两个阶段。 一索引阶段
索引阶段就是将外部知识按照特定的数据结构组织起来实现更高效的检索。主要有以下几个步骤
1、文本分块。原始文本往往都有冗长、信息量大等特点比如一本书这并不利于高效检索。一方面干扰信息太多影响检索精度另一方面检索过程计算开销很大。文本分块可以将长文本切分成多个粒度更细的文本块能够更准确匹配用户查询意图的同时计算和存储开销也更小。
2、Embedding。通过Embedding模型将文本块转换成向量Embedding。
3、索引。对向量按照特定的数据结构建立索引比如基于图的HNSW、基于哈希桶的LSH、倒排索引IVF等。
4、存储。将原始向量和索引数据存储起来可以使用专用的向量数据库比如Milvus等也可以使用传统数据库向量索引插件比如PostgreSQLpgvector。 二检索阶段
检索阶段就是利用查询去检索相关的文本块的过程主要有以下2个步骤
1、Embedding。使用与索引阶段同样的Embedding模型将原始查询转换成向量。
2、检索。利用向量相似性计算找到与原始查询最匹配的TopN个相关文本块。 三生成阶段
生成阶段首先将相关文本块与原始查询组成新的提示引导LLM基于相关文本块完成内容的生成。 参考
快速了解生成式AI
《Generative AI in Action》Amit Bahree快速了解生成式AI
