做决定网站,苏州网站建设比较好的公司,上海市网站,专业商业空间设计公司如果不使用新的软件基础设施技术#xff0c;就很难理解它们。 至少#xff0c;a16z 基础设施团队发现了这一点#xff0c;而且因为我们中的许多人都是以程序员的身份开始职业生涯的#xff0c;所以我们经常通过实践来学习。 尤其是生成式AI浪潮的情况尤其如此#xff0c;它…如果不使用新的软件基础设施技术就很难理解它们。 至少a16z 基础设施团队发现了这一点而且因为我们中的许多人都是以程序员的身份开始职业生涯的所以我们经常通过实践来学习。 尤其是生成式AI浪潮的情况尤其如此它来得如此之快、如此引人注目以至于良好的文档往往落后于代码几个月。 因此为了更好地了解这个领域我们一直围绕大型语言模型 (LLM)、大型图像模型、矢量数据库等构建项目。
在这样做的过程中我们注意到由于所有这些都是如此新并且变化如此之快所以确实没有好的框架可以快速入门。 每个项目都需要一堆样板代码和集成。 坦白说这是一种痛苦。 因此我们着手为那些想要尝试核心技术但又不想过多考虑诸如身份验证、托管和工具等辅助问题的人创建一个非常简单的“AI入门”模板 选择。
你可以在此处分叉并部署模板。 我们很乐意听到你的想法和反馈以使模板变得更好。 推荐用 NSDT编辑器 快速搭建可编程3D场景 1、组件
我们中的许多人都是 JavaScript/TypeScript 爱好者因此我们选择 JavaScript 堆栈作为我们的起点。 尽管如此这个框架可以很容易地修改以支持其他语言我们计划很快就这样做。
以下是我们与长期合作者和开源爱好者 Tim Qi 共同构建的入门堆栈的简要概述。 目标是强调从 GitHub 上提取代码到运行生成式 AI 应用程序图像和文本的最简单路径。 它的设计目的是可以轻松扩展到更复杂的架构和项目
身份验证Clerk应用逻辑Next.js矢量数据库Pinecone / Supabase pgvectorLLM编排Langchain.js图像模型Replicate文本模型OpenAI部署Fly.io
有关新兴LLM栈的更详细概述请查看我们之前的文章“LLM应用程序的新兴架构”。
2、模型与推理
模型托管是一件痛苦的事情而且很大程度上是构建应用程序的正交问题。 因此我们使用 OpenAI 进行文本构建使用 Replicate 进行图像推理。 Replicate 还提供基于文本的模型查看运行 Vicuna 是多么容易因此你可以根据需要使用它代替 OpenAI。 3、身份验证
对于入门框架我们通常不会费心包含 auth。 但是在这种情况下这些模型是如此强大和通用以至于它们成为旨在获得免费使用的大规模、有组织的努力的目标。 当他们的模型提供商意外地收到 10,000 美元的账单时开发人员通常会经历惨痛的教训。 这就是为什么我们选择包含 Clerk它负责机器人检测的繁重工作当然如果你最终构建更复杂的应用程序它还提供完整的身份验证支持。
4、矢量数据库
LLM 需要可靠的长期记忆来保存状态并围绕上下文窗口工作 这是由矢量数据库处理的。 目前Pinecone 是最成熟、最受生成 AI 人群欢迎的矢量存储库。 也就是说我们希望为所有用例和首选项提供支持因此我们还在存储库中包含了对 Supabase 的 pg-vector 的支持。
5、部署
对于部署我们使用 Fly.io因为它是多区域的易于管理并提供非常通用的计算环境在容器中运行的任何东西。
随着时间的推移许多人工智能项目最终会使用多种语言并且可能在后端需要实现重要的功能因此 Fly.io 是 Vercel 或 Netlify 等 JavaScript 原生托管环境与传统云之间的良好折衷方案。 也就是说如果你愿意的话该代码可以轻松支持其他托管环境。 Fly.io 很快还将为你想要托管自己的模型的情况提供 GPU。
6、路线图
尽管我们认为第一次迭代是一个很好的起点但我们正在用更多选项充实技术栈。 以下是我们的路线图
用于 create-ai-stack 的交互式 CLI开发人员可以在其中选择自己的项目支架和依赖项用于高级用例的事务数据库例如保留问答中的问题、用户偏好等矢量数据库和部署平台的更多选项开源模型的轻量级微调步骤 原文链接生成式AI的JS技术栈 — BimAnt
