如何快速用手机做网站,长治做网站的公司,wordpress怎么建表格,wordpress 自定义文章列表你是否曾经想过#xff0c;当你在 Intellij IDEA 中输入一个段代码时#xff0c;GitHub 是如何给你返回相关的结果的#xff1f;其实#xff0c;这背后的秘密就是围绕 Prompt 生成而构建的架构设计。 Prompt 是一个输入的文本段落或短语#xff0c;用于引导 AI 生成模型执… 你是否曾经想过当你在 Intellij IDEA 中输入一个段代码时GitHub 是如何给你返回相关的结果的其实这背后的秘密就是围绕 Prompt 生成而构建的架构设计。 Prompt 是一个输入的文本段落或短语用于引导 AI 生成模型执行特定的任务或生成特定类型的输出。不同的 Prompt 会导致不同的搜索结果因为它们会影响模型对信息的处理方式。而通过巧妙构建Prompt我们可以让模型在广泛的任务中执行特定的操作从而提高搜索效率和用户满意度。 Prompt 的设计不仅影响 AIGC 模型的行为和输出还影响软件架构的设计和优化。那么Prompt 和软件架构之间有什么关系呢为什么 Prompt 对软件架构如此重要呢 在本文中我们将探讨这一关系并基于我们对一些卓越的人工智能生成代码AIGC相关应用的研究以及一些内部 AIGC 应用的观察这些应用都是基于 LLM 优先理念下来构建和设计软件架构的。这些应用包括 GitHub Copilot一个基于 OpenAI Codex/Codex 2 模型的代码生成器它可以根据用户提供的注释或代码片段来生成完整的代码。JetBrains AI Assistant一个围绕开发人员日常活动构建的伴随性 AI 辅助的 IDE 插件。Bloop一个根据用户提供的自然语言描述或问题来生成对应答案或者代码的工具。 而究其背后的原因我想只有围绕 LLM 优先来考虑架构才有可能对应这种复杂性。 PS本文讨论的背景是复杂的 AIGC 应用诸如于 Copliot 型、Agent 型应用普通的 AIGC 不具备这种复杂性。 AIGC 优先应用的架构特征初步 在我们先前的文章《上下文工程基于 Github Copilot 的实时能力分析与思考》里介绍了 Copilot 如何结合用户行为以及当前代码上下文光标位置行内、块间、块外来生成三种不同类型的代码。其基本特质便是围绕用户的潜在意图来设计对应的生成内容。并结合当前的代码文件来调整生成的内容以符合对应语言的基本语法。 而 Bloop 则是围绕于检索增强生成RAG来推测用户的潜在意图诸如通过查询扩展的方式来更好地匹配潜在的代码。并通过输出更多的上下文交互过程以让用户来调整自己的问题获得更准确的答案。 再结合 JetBrains AI Assistant 的语言上下文模块化架构我们简单将复杂 AIGC 应用总结了三个核心特征未来还将继续优化这个版本 感知用户意图以构建清晰的指令 这一特征涉及捕获和分析用户的操作以全面理解用户的目标和偏好。应用程序需要能够识别用户的需求提供相应的内容生成方案从而建立清晰的指令。这可以包括收集和解释用户输入行为分析以及利用历史数据来更好地了解用户需求。通过这个特征AIGC 应用可以更好地满足用户的期望。围绕用户意图地交互设计以让用户输出更多上下文 这个特征旨在创建友好和灵活的用户界面鼓励用户提供更多上下文信息。用户通常通过输入和修改内容生成的参数和条件来表达他们的需求。此外AIGC 应用还可以隐式地获取用户的上下文信息例如 v0.dev、数据智能和流式交互。这些信息可以包括用户的操作历史、上下文语言信息、位置信息等以提供更个性化和智能化的内容生成服务从而增强用户体验。基于数据的反馈改进与模型优化 这一特征通过不断收集和分析用户对生成内容的反馈如评分、评论、分享等以实现内容生成模型和算法的不断调整和优化。通过利用这些反馈数据AIGC 应用可以提高生成内容的质量和多样性确保用户满意度不断提高。 而对于这些应用来说并不是需要复杂的 prompt 技巧。技巧性、复杂的 Prompt 在工程化面前都是灾难性的。 复杂 AIGC 应用的基本 Prompt 策略 对于复杂 AIGC 应用来说难点是在于 Prompt 的策略也就是如何构建自动的上下文收集。通常来说其设计过程要考虑 鲁棒性Prompt 的设计应该能够处理各种输入情况并在不同任务和领域中表现良好。它们应该是通用的而不仅仅适用于特定任务。评估和反馈循环Prompt 设计的成功与否通常需要不断的迭代和反馈。开发者可能需要花时间来调整Prompt以提高模型的性能这也可能影响软件架构。 而鲁棒性也意味着复杂的 Prompt 会变成一种灾难因为作为一个生成模型它无法考虑到你的每个 MUST/HAVE TO/必须以及你交给他的你不应该 xxx。太长的 prompt不仅显得 LLM 很愚蠢也间接地让你觉得自己很愚蠢。你应该将长 prompt 分为多个 stage人及 GPT 会在阅读很长的文本之后忽略这句要求即复杂问题应该先进行拆解 —— 参考领域驱动设计的方式。 在 AIGC 工具里我们可以将 Prompt 分为多种类型强指令型强结果型。 Prompt 策略 1精短地指令精准上下文 在非聊天的场景下诸如于编写文档、编写报告等等工具中的指令往往都非常简洁 Write documentation 而为了让 LLM 生成更精准的结果我们还需要进行更多的上下文补充诸如于 Write documentation for given method 它结合着不同的语言的语法形式类声明、方法声明等。 随后还需要考虑不同的文档工具诸如于 write PHPDoc 。而使用 Python 语言时则又需要使用 来作为文档的起始标志。而为了编写更规范的文档还需要结合 use param tag 来进行示例告诉 LLM 应该写什么样的文档。 那么问题就来了要让 AIGC 构建出这个上下文我们需要 获取语言相关的信息诸如版本信息等配置或者获取该语言的文档工具获取待写文档的代码信息如果是方法的话需要提醒 method has return type 。根据不同的语言配置基本的规范。如 Python 到底是用 Tab 还是用空格。 指令本身很简单但是要构建精准的上下文则是要回到工程化问题上来。 Prompt 策略 2围绕结果设计交互获取用户的上下文 在非编码场景的其他 RAG 场景之下通常我们会围绕于感知-分析-执行 来分析用户的意图进而根据用户的意图来生成更多的上下文。先看个数据问答的示例 意图xx 子公司去年营收
观察...
思考请选择查询的数据子项
操作选择 xx 领域。
….
最终输出图表柱状图等 这里就存在一个问题用户最终要的是图表还是文字信息我们要不要帮用户做这个决定如果要做这个决定那么我们是不是需要根据用户以往的历史经验 所以在这个场景里在进入解决方案之前我们一直在围绕用户的问题进行澄清。 围绕 Prompt 策略的架构设计示例 现在再回到架构设计上让我们看看对应的示例。 语言插件化架构 我们在理解了 JetBrains 的 AI 工具的架构设计上参考复制了相似的设计。在 JetBrains 的 IDE 里不同的语言后缀会调用不同的 IDE 插件功能来实现对应的重构等等的方式。所以在设计对应的功能时也是将不同的语言划分到不同的模块以借由其实现其动态加载。 举个例子为了生成测试代码的准确性我们需要获取被测试代码、测试框架等信息因此需要语言上下文、技术栈上下文、相关上下文、以其它上下文。 所以仔细拆解下来我们就需要围绕于插件化架构来构建 IDE 插件即在 Core 模块里定义 Prompt 和我们的抽象接口在不同语言模块里实现对应的上下文获取方式。 而如果我们只是一个简单的聊天功能就不需要这么复杂的架构只是生成内容的精准性会下降。 发散-收敛式上下文 而在诸如于 Bloop 这一类以 RAG检索增强生成 为主的应用设计里更重要的则是如何从不同渠道丰富用户的上下文其难点主要在于如何匹配最相似的答案。 发散。其使用方式有多种多样的诸如于分析用户的意图使之能进行内容检索 —— 代码检索、文档检索、网络检索等等。 收敛。结合发散的结果对检索到的内容进行处理进而做最后的过程呈现与内容的总结。 而这部分内容本身是作为策略的一部分存在的它可以作为基础设施的一部分诸如 LLM SDK又或者是代码服务。 其它场景 而在其他一些场景中诸如于 Code Review我们会结合提交信息中的 story id、代码变更、业务信息三部分来进行最后的总结。与语义化代码搜索的场景相似但是与普通的 Code Review 相比为了达成更精准的上下文则花费的成本更高。 平衡 Prompt 策略与架构演进路线 尽管 AIGC 能显著地加速我们编写代码的时间但是花费更多的时间在上下文架构上则意味着架构的复杂度。我们是否应该花费如此多的时间在构建 prompt 上它带来的 ROI 是否合理就需要根据不同的场景去考虑。 除此我们还需要围绕于 Prompt 演进策略来构建架构的演进路线。诸如于对于一个 Code Review 工具我们应该如何去规划 实现基本的 code review 接口调用与 comments 调用结合提交信息来 review 代码分析两者是否一致从提交信息中获取业务上下文来分析代码是否与业务一致…… 随后则是根据我们能获取到的数据来设计最终的 prompt并以此作为版本来规划架构演进路线。 小结 由 ChatGPT 生成 本文讨论了复杂 AIGC 应用中的 Prompt 和架构设计的关键性。Prompt 是引导 AI 生成的文本段落其设计直接影响AIGC应用的性能。 复杂 AIGC 应用具有三核心特征感知用户意图、设计用户交互以获取更多上下文和基于数据反馈的模型优化。两种 Prompt 策略包括精简指令和围绕结果的设计有助于构建更有效的Prompt。示例架构设计采用语言插件化可根据不同语言后缀实现不同功能提高 AIGC 应用的多语言支持。 文章突出强调 Prompt 的重要性指出 Prompt 和架构设计在提高生成内容质量和用户满意度方面至关重要。在实践中需要平衡 Prompt 策略和架构设计以满足不同 AIGC 应用的需求。
