个人注什么域名的网站,网站备案流程2016,抖音代运营服务方案,手机网站建设好吗无论怎么选择RAG的切分方案#xff0c;仍然切分不准确。
最近#xff0c;anthropics给出了补充上下文的embedding的方案#xff0c;RAG有了新的进展和突破。
从最基础的向量查询#xff0c;到上下文embedding#xff0c;再到rerank的测试准确度都有了明显的改善#xf…无论怎么选择RAG的切分方案仍然切分不准确。
最近anthropics给出了补充上下文的embedding的方案RAG有了新的进展和突破。
从最基础的向量查询到上下文embedding再到rerank的测试准确度都有了明显的改善测试结果数据如下[2]
测试方案Pass5Pass10Pass20基础RAG80.92%87.15%90.06%加了上下文的embedding86.37%92.81%93.78%BM25测试和上下文embedding86.43%93.21%94.99%双路召回的基础上增加了rerank91.24%94.79%96.30% 备注Passk 检查每个查询检索到的前 k 个文档中是否存在“最佳文档” 智谱清言[7]绘制的图
一、RAG存在的问题
比如有西游记这本书中第一回 惊天地美猴王出世一个文档的chunk拆分如下
“师兄们见了鼓着掌称赞他。”
很难知道更多关于这个chunk的基本信息它的上下文不够清晰那很难让LLM总结得到更准确的总结和回答。
二、上下文embedding
假设根据所属的文档补充完善这个chunk的上下文信息就变成这样的chunk
”孙悟空在菩提祖师门下学成七十二般变化和筋斗云后展示给师兄们看变出一棵大树师兄们对此表示赞赏。“
这样一个chunk的上下文信息就变得更加完整了。
使用这样的chunk信息可以让LLM得到更准确的回答。
提示语
document{原始文档}
/document你的任务是改写一下这个chunk提供一个简短的上下文补充完整chunk在整个文档中的含义以便改进chunk的搜索检索。 只回答简洁的上下文不要回答其他内容。以下是文档中我们想要的部分chunk。
chunk{当前chunk}
/chunk使用deepseek的测试结果如下[3][4] 三、大模型Cache
通过字数统计来看如果每一个chunk都需要传入整个文档则费用是巨大的。 整个文档西游记 第一回的字数统计如下
那为什么要使用DeepSeek 从能力的各个方面看deepseek表现的都很好[6]。 除此之外有一个更大的优点–价格便宜。 除了普通的输入输出价格之外deepseek提出了一个缓存价格的概念 如果你传入给模型的前缀内容是相同的则会命中缓存。命中缓存的费用降低了10倍。
只要前缀相同就会命中缓存[8]以下是官方文档中的事例代码
上图中我划线的部分都是缓存命中的。
再回到我们补充chunk上下文的案例提示语如下
document{原始文档}
/document你的任务是改写一下这个chunk提供一个简短的上下文补充完整chunk在整个文档中的含义以便改进chunk的搜索检索。 只回答简洁的上下文不要回答其他内容。以下是文档中我们想要的部分chunk。
chunk{当前chunk}
/chunk原始文档部分以及提示语部分都是一致的只有如下片段是缓存不命中的 {当前chunk}
/chunk这样我们的费用就大大降低了通过大模型补充chunk的上下文就成为了可能。
感谢deepseek的创新和实现[9]让模型的使用变得便宜让我们可以从更多的场景去探索和尝试。
四、写在最后
补充完善chunk上下文这个方案在之前来做是不可能的因为一个文档要重复让模型进行读取这个费用太高了。
从豆包的首次降价到百度的免费模型到智谱的免费模型再到各种本地构建的ollama免费模型
随着模型的普及价格变的便宜大胆的尝试它与场景的结合就成为了可能。
所以未来的模型使用要 更多的考虑场景而不是价格。
参考文献
[1] The best RAG’s technique yet? Anthropic’s Contextual Retrieval and Hybrid Searchhttps://levelup.gitconnected.com/the-best-rag-technique-yet-anthropics-contextual-retrieval-and-hybrid-search-62320d99004e
[2] anthropic-cookbook例子 https://github.com/anthropics/anthropic-cookbook/blob/main/skills/contextual-embeddings/guide.ipynb
[3] deepseek访问页面 https://chat.deepseek.com/
[4]西游记白话文 https://github.com/gugug/pyltp-books/blob/master/mybooks/Book/%E8%A5%BF%E6%B8%B8%E8%AE%B0%E7%99%BD%E8%AF%9D%E6%96%87/1.txt
[5]在线字数统计 https://www.eteste.com/
[6]中文模型测评排行榜https://github.com/jeinlee1991/chinese-llm-benchmark?tabreadme-ov-file#3%E4%BF%A1%E6%81%AF%E6%8A%BD%E5%8F%96%E8%83%BD%E5%8A%9B%E6%8E%92%E8%A1%8C%E6%A6%9C
[7]智谱清言: https://chatglm.cn/main/alltoolsdetail?langzh
[8]deepseek文档-缓存策略 https://api-docs.deepseek.com/zh-cn/guides/kv_cache
[9]deepseek的MLA缓存实现:https://blog.csdn.net/yutianzuijin/article/details/142372022
