网站建网站建设设,python做直播网站,东莞网站建设用哪种好,做h5的免费软件英文原文#xff1a;Instant Plugins for ChatGPT: Introducing the Wolfram ChatGPT Plugin Kit 在一分钟内构建一个新插件
几周前#xff0c;我们与OpenAI合作发布了Wolfram插件#xff0c;使ChatGPT可以使用Wolfram语言和Wolfram|Alpha作为工具#xff0c;在ChatGPT内部…英文原文Instant Plugins for ChatGPT: Introducing the Wolfram ChatGPT Plugin Kit 在一分钟内构建一个新插件
几周前我们与OpenAI合作发布了Wolfram插件使ChatGPT可以使用Wolfram语言和Wolfram|Alpha作为工具在ChatGPT内部自动调用。可以将其视为向ChatGPT添加广泛的“计算超能力”从而让它获得 Wolfram语言和Wolfram|Alpha中所有通用的计算功能和计算知识。
但是如果您想制作自己的特殊插件进行特定的计算或者访问仅在您自己的电脑或电脑系统上可用的数据或服务怎么办呢今天我们发布了第一个版本的开发套件来实现这一点。借助整个Wolfram Language技术栈构建并且我们已经成功地使整个过程变得非常简单——至少基本定制 ChatGPT 插件现在只需要不到一分钟就可以轻松部署。
需要进行一次非常简单设置-验证OpenAI身份并安装Plugin Kit。然后你就可以开始创建你的第一个插件。
要运行这里的示例您需要 开发者可以访问ChatGPT的OpenAI插件系统 可以访问Wolfram语言系统包括免费的Wolfram Engine for Developers、Wolfram Cloud Basic等 您现在还需要使用PacletInstall[“Wolfram/ChatGPTPluginKit”]安装ChatGPT Plugin Kit(插件套件)。
这是一个非常简单的例子。假设你为一个单词创造了一个“强度”的概念将其定义为“字母数字”的总和“a”为1“b”为2等。在 Wolfram 语言中您可以计算如下 而且作为十多年来的标准您可以立即将这样的计算部署为 Wolfram Cloud 中的 Web API——可通过 Web 浏览器、外部程序等立即访问 但是现在有一种新的部署形式作为ChatGPT的插件。首先您需要获取插件工具包 然后您就可以立即部署您的插件了。只需要 最后一步是您需要告诉ChatGPT有关您的插件。在Web界面中按照当前配置选择“Plugins Plugin store Develop your own plugin”“插件”“插件商店”“开发自己的插件”并将来自ChatGPTPluginDeployment的URL插入到你的对话框中 (通过点击复制按钮获取 ) 现在一切准备就绪。您可以开始与ChatGPT谈论“单词强度”它将调用您的插件默认情况下称为“WolframCustom”来计算它们 展开这个对话气泡可以了解ChatGPT与插件之间的通信 没有插件它就不知道“字母强度”是什么。但有了插件它就能够做出各种相当惊人的事情——比如这样 关于角马属性的修饰很迷人但如果打开聊天气泡就可以看到它是如何得出答案的——它只是开始尝试不同的动物“狮子”“斑马”“角马” 软件工程师会立即注意到我们设置的插件正在本地主机上运行也就是在您自己的计算机上执行。正如我们将要讨论的那样这通常是一件非常有用的事情。但是您也可以使用Plugin Kit创建纯粹在Wolfram Cloud或者阿里云/腾讯云/华为云…中执行的插件例如您不必在计算机上安装Wolfram Engine。
你所要做的就是使用ChatGPTPluginCloudDeploy——然后你会得到一个Wolfram Cloud中的URL你可以告诉ChatGPT这个插件的位置 实际上您可以直接在网络浏览器中完成整个设置过程无需进行任何本地 Wolfram 安装。只需在 Wolfram Cloud 中打开一个笔记本并从那里部署您的插件即可: 让我们来做一些其他的例子。接下来让我们发明一个“地理影响圆盘geo influence disks”的概念然后部署一个插件来呈现这样的东西稍后我们将谈论一些正在进行的细节 现在我们可以安装这个新插件然后开始向ChatGPT询问“地理影响圆盘(geo influence disks)” ChatGPT 成功调用了插件并返回了一张图片。有趣的是它猜测事实上是正确的“地理影响圆盘”应该是什么意思。请记住它无法看到图片或读取代码因此它的猜测只能基于 API 函数名称和提出的问题。当然在调用 API 函数时它必须有效地理解至少一点内容——x 应该表示位置而 radius 则表示距离。
再举个例子我们来制作一个插件可以向用户即部署插件的人发送短信 现在只需要说“发送一条信息…”“send me a message…” 一条短信将会到达——在这种情况下它还带有ChatGPT的小装饰 这是一个插件它还会发送提到的动物的“警报图片” 是的需要许多技术才能实现这一点 作为另一个例子让我们创建一个插件来检索我的个人数据——这里是我在 Wolfram databin数据中积累了数年的心率数据 现在我们就可以使用ChatGPT来对这些数据提出自己的问题了 而且如果安装了主要的Wolfram插件我们可以通过ChatGPT的“语言用户界面”立即对这些数据进行实际计算 这个例子使用了 Wolfram Data Drop 系统。但是我们也可以用类似 SQL 数据库关系型数据库的东西来做同样类型的事情。如果你已经设置好插件以访问私有数据库那么通过 ChatGPT 和 Wolfram 插件真正令人惊叹的事情就能够实现。
通过Plugins插件操控你的电脑
当您通过ChatGPT的标准Web界面使用它时ChatGPT是在OpenAI的服务器上运行。但是通过插件您可以“回溯”——通过您的Web浏览器——以使事情发生在自己的本地计算机上。我们稍后将讨论这个“引擎盖下”的工作原理但现在可以说一下当您使用ChatGPTPluginDeploy而不是ChatGPTPluginCloudDeploy部署插件时在插件中实际运行的Wolfram语言代码将在本地计算机上运行。因此这意味着它可以访问计算机上的本地资源如摄像头、扬声器、文件等。
例如这里我正在设置一个插件来使用我的计算机摄像头拍照使用 Wolfram 语言的 CurrentImage[ ] 函数—然后将图片与我指定的任何颜色混合我们稍后会讨论 CloudExport 的用法 安装插件后我对ChatGPT说“想象一下我穿着绿色的衣服”然后ChatGPT会立即调用插件让我的电脑拍摄我的照片并将其与绿色混合包括我的“我不知道这是否有效”的表情 好的让我们尝试一个稍微复杂一些的例子。在这里我们将创建一个插件来让ChatGPT在我的电脑上打开笔记本并开始写入内容。为了实现这一点我们将定义几个API端点并将整个插件命名为“NotebookOperations” 首先让我们告诉ChatGPT创建一个新笔记本 然后在我的屏幕上弹出了一个新的笔记本 如果我们查看从中部署插件的 Wolfram 语言会话中的符号 nb我们将发现它是由 API 设置的 现在让我们使用其他的API端点向笔记本添加内容 这就是我们可以获得的结果 这段文字是由ChatGPT编写的图片则来自于网络图像搜索。 我们也可以使用Wolfram语言中的新ImageSynthesize[]函数制作全新的猫咪图片。
最后让我们请ChatGPT展示一张用CurrentNotebookImage从电脑屏幕上捕捉到的笔记本截图 我们还可以添加另一个端点使用CloudPublish将笔记本发布到云中并可能通过电子邮件发送URL。
我们可以将前面的示例视为在笔记本中累积结果。但是我们也可以只在Wolfram语言符号的值中累积结果。这里我们将符号“result”初始化为空列表。然后我们定义了一个API来附加到此列表但是给出了提示仅当有单词结果时才执行此附加操作 让我们为ChatGPT设置一个“练习” 此时result仍为空 现在让我们来问第一个问题 ChatGPT并不会直接显示答案。但它会调用我们的API并将其附加到result中 让我们来问问另一个问题: 现在 result 中包含了两个答案: 如果我们在笔记本中放置Dynamic[result]每当ChatGPT调用API时我们会看到它动态地改变。
在最后一个例子中我们从ChatGPT内部修改了符号的值。如果我们感觉勇敢可以让ChatGPT评估计算机上的任意代码例如使用调用ToExpression的API。但是是的赋予ChatGPT执行自己制作的任意代码的能力似乎会使我们面临某种“天网风险”并使我们更加想知道“AI宪法”之类的事情。
但比执行任意代码更安全的做法是让ChatGPT有效地“四处查找”我们的文件系统。让我们设置以下插件 首先我们设置一个要操作的目录 现在让我们问ChatGPT关于那些文件 使用 Wolfram 插件我们可以让它制作这些文件类型的饼图 现在我们要求它做一些非常“LLM-ey”的事情并总结每个文件的内容在API中我们使用Import导入文件的纯文本版本 还有很多事情可以做。这里有一个插件可以计算从您的电脑到服务器的ping时间 或者作为另一个例子您可以设置一个插件来创建定时任务在指定的时间提供电子邮件或短信等提醒 ChatGPT 负责认真排队任务 然后每隔大约10秒钟我的邮箱里就会弹出一个也许有些可疑的动物笑话 最后一个例子让我们考虑一下在我的电脑上播放曲调的本地任务。首先我们需要一个能够解码音符并播放它们的插件”ChatGPTPluginDeploy”用于告诉ChatGPT插件已经完成了工作——因为ChatGPT本身无法知道这一点 在这里我们给ChatGPT想要的音符——是的这立即在我的电脑上演奏出来 现在作为对一位著名虚构人工智能的致敬让我们尝试演奏另一首曲子 是的ChatGPT整理了一些笔记并将它们打包到插件中然后插件播放了它们 依然可以运行: 但是…等一下那是什么曲调ChatGPT似乎还不能像HAL那样可疑地宣称 “没有[HAL] 9000电脑曾经犯过错误或扭曲信息。按任何实际定义的词语我们都是防错和无误的。“ 说说工作原理
我们现在已经看到了许多使用ChatGPT插件工具包的示例。但是它们是如何工作的底层是什么当您运行ChatGPTPluginDeploy时实际上正在设置一个Wolfram语言函数可以从ChatGPT内部调用该函数以便在需要时使用。为了使这个过程顺利进行需要使用Wolfram语言独特能力的广泛谱系并与ChatGPT中某些“聪明”的功能相结合。
从软件工程角度来看ChatGPT插件基本上就是一个或多个Web API连同告诉ChatGPT如何调用这些API的“清单”。那么如何在Wolfram语言中设置Web API呢十年前我们发明了一种极其简单易行的方法。
像Wolfram语言中的所有内容一样Web API也由符号表达式表示在这种情况下形式为APIFunction[…]. 那么APIFunction里面有什么呢其中有两个部分一段实现所需功能的Wolfram Language代码和规范说明在将字符串传递给APIFunction之前应该如何解释这些字符串例如来自Web API。
以下是一小段 Wolfram Language 代码, 在此案例中用于否定颜色并使其变浅: 如果我们愿意我们可以将其重构为一个应用于两个参数的“纯函数” 纯函数本身只是一个符号表达式它会被计算为其自身 如果需要的话我们可以给纯函数的参数命名并将它们与其名称作为键一起提供到一个关联 ( ) 但是假设我们想要从 Web API 调用我们的函数。Web API 中的参数始终为字符串。那么如何将字符串例如“lime green”转换为 Wolfram 语言可以理解的符号表达式呢好吧我们必须使用 Wolfram 语言的自然语言理解能力。
以下是一个示例其中我们正在说希望将字符串解释为颜色 那个颜色样本到底是什么就像 Wolfram 语言中的其他所有内容一样它只是一个符号表达式 好的现在我们准备将所有内容打包成APIFunction。第一个参数表示我们要表示的API有两个参数并描述了我们希望如何解释这些参数。第二个参数给出了实际的Wolfram语言函数该API计算它们。单独使用APIFunction只是一个符号表达式其本身就可以评估 但如果我们为参数提供值这里使用关联它将被计算 目前所有这些都只是在我们的 Wolfram 语言会话中发生。但要获得实际的 Web API我们只需“云部署”APIFunction 现在我们可以从Web浏览器中调用此Web API 是的那就是符号表达式的结果。如果我们想要一些可视化的东西我们可以告诉APIFunction将其结果作为PNG输出 现在它将显示为网络浏览器中的图像 请注意CloudDeploy 部署的 Web API 默认情况下权限设置为只有我可以运行。如果使用 CloudPublish则任何人都可以运行它。
好的那么我们如何设置我们的 Web API 以便作为 ChatGPT 插件调用呢一个直接的问题是在最简单的级别上ChatGPT 只处理文本因此我们必须将结果转换为文本。所以让我们进行一些 Wolfram 语言编程来实现这个目标。以下是 Wolfram 知识库中常见颜色值和名称列表 当然我们也知道许多其他命名颜色的集合但在这里不必担心它们 现在我们可以使用Nearest函数来找到最接近我们所得颜色的常见颜色 现在让我们将其放入APIFunction中这里我们已经“图标化”了颜色列表我们也可以定义一个单独的函数来查找最近的颜色它会自动随CloudDeploy一起带来 现在我们已经准备好使用ChatGPTPluginDeploy了。 ChatGPT插件的工作方式是我们必须为与我们的API对应的“端点”命名。 这个名称以及我们在API中用于参数的名称将被ChatGPT用来确定何时以及如何调用我们的插件。 但在这个例子中我们只想为端点使用某种唯一名称这样我们就可以在聊天中引用它而不会让ChatGPT将其与其他内容混淆。 所以让我们称之为ColorMangle。 现在让我们进行部署 到目前为止我们关于APIFunction及其调用的所有内容在ChatGPTPluginDeploy和ChatGPTPluginCloudDeploy中都是相同的。但接下来要说的就不同了。因为ChatGPTPluginDeploy设置API函数在本地计算机上执行而ChatGPTPluginCloudDeploy则将其设置为在Wolfram Cloud或Wolfram Enterprise Private Cloud等上运行。
本地部署和云端部署都有优缺点。在本地运行可以让您获得计算机的本地功能如相机、文件系统等。在云端运行则允许其他人也能运行您的插件但目前除非您将插件注册到OpenAI否则一次只有有限数量的人能安装您的插件。
好吧让我们来谈谈本地插件部署。ChatGPTPluginDeploy 在您的计算机上有效地设置了一个最小化 Web 服务器使用10行 Wolfram 语言代码实现在 ChatGPTPluginDeploy 选择的端口上运行并且每当它收到对 API URL 的请求时调用 Wolfram 引擎与您的 API 函数进行交互。
这是 ChatGPTPluginDeploy 正在使用的操作系统套接字是的Wolfram 语言将套接字——像其他所有东西一样——表示为符号表达式 好的但是ChatGPT怎么知道你的API呢首先您需要通过ChatGPT UI的 Plugins Plugin store Develop your own plugin插件插件商店开发自己的插件告诉它您正在使用的端口。您可以通过单击ChatGPTPluginDeployment对象中的 图标或以编程方式找到端口 您输入此URL然后告诉ChatGPT“查找清单文件” 让我们看一下它找到了什么 这是一个“清单”它告诉插件安装程序的相关信息。我们没有指定太多内容所以大部分都是默认值。但清单中重要的一部分是提供API规范URL的部分http://localhost:59353/.well-known/openapi.json
访问该URL后我们可以找到这个“OpenAPI规范” 最后点击Install localhost plugin该插件将出现在您的ChatGPT会话中已安装插件列表中 当ChatGPT启动时安装了插件它的“系统提示”中会包含一个额外的部分让它可以“学习”如何调用该插件 现在我们可以开始使用这个插件了 是的它有效。但这里有一些魔法。ChatGPT不得不“拆开”我们所要求的内容意识到API端点称为ColorMangle是相关的然后确定其颜色参数应该是“青柠绿”级别应该是“0.5”。打开盒子我们可以看到它所做的 现在我们可以开始在其他地方使用“颜色混合”——尽管ChatGPT急于告诉我们“颜色混合”是一种“虚构的操作”可能是为了避免被指责不尊重某个国家的旗帜颜色 在我们处理的这个案例中ChatGPT成功地将文本片段正确“连接”到API中的适当参数。而且它是从我们为参数使用的名称以及我们给出的端点名称所获得的信息碎片中实现了这一点相当惊人。
但有时候我们需要告诉它更多信息我们可以通过在ChatGPTPluginDeploy内指定插件提示来实现 现在我们不仅需要谈论颜色 起初它没有成功地“解开”“冰岛的颜色”但后来它纠正了自己并得到了答案。是的如果我们写一个更好的提示也许我们本可以避免这种情况。
实际上您可以提供多个级别的提示。您可以为整个插件包括一个相当长的提示。然后您可以为每个单独的API端点提供较短的提示。最后您可以通过将“color”→ “Color”替换为类似于以下内容来帮助ChatGPT解释API中单个参数 当您设置插件时它可以包含许多端点执行不同的操作。此外在共享提示之外这特别方便的原因之一是出于安全原因任何给定子域只能有一个关联的插件。因此如果想要具有各种功能则必须通过使用不同的端点来实现。
对于ChatGPTPluginCloudDeploy每个子域仅限一个插件意味着任何给定用户一次只能部署一个云插件。但对于本地插件规则略有不同并且ChatGPTPluginDeploy可以通过在不同端口上运行它们来部署多个插件-事实上默认情况下ChatGPTPluginDeploy每次调用时都会选择随机未使用的端口。
但是本地插件如何工作它如何“回到”您的计算机魔法基本上发生在ChatGPT Web前端中。所有插件工作方式都是当将要调用该插件时LLM逐标记生成过程停止并且“外循环”的下一个动作是调用该插件-然后将其提供给LMM在下一步中将添加到字符串中。好吧在本地插件的情况下“外循环”使用聊天窗口前端中JavaScript向指定了localhost 端口 的计算机发送请求。顺便说一下一旦ChatGPTPluginDeploy打开端口它将保持打开状态直到您在其套接字对象上明确调用Close。
当使用本地插件时它们在部署插件的Wolfram语言会话中运行其Wolfram语言代码。这意味着例如如我们在某些情况下看到的那样设置的值在进行另一个调用时仍然存在。
在云中它不会立即以这种方式工作因为每个API调用实际上是独立的。但是可以轻松地将状态保存在云对象中例如使用CloudPut或CloudExpression等以便可以跨多个API调用具有“持久性内存”。
ChatGPT内部的LLM目前仅设置为处理文本。那么图像怎么办好吧插件可以将它们放入Wolfram Cloud中并将其URL传递给ChatGPT。 ChatGPT已经设置能够直接呈现特定类型的东西-如图像。
因此-正如我们上面所看到的-要从插件“输出”图像或几个图像我们可以使用CloudExport将每个图像放入云对象中在PNG格式中进行操作。然后ChatGPT可能需要一些提示来显示嵌入式输出中的图片。
部署Wolfram Language插件于ChatGPT中存在一些稍微棘手的“管道”其中大部分在ChatGPTPluginDeploy和ChatGPTPluginCloudDeploy中自动处理。但是通过基于Wolfram语言的基本符号结构及其集成部署功能来构建可以非常简单地为ChatGPT创建复杂的自定义Wolfram语言插件并为LLM和Wolfram语言周围不断发展的生态系统做出贡献。
