安徽道遂建设工程有限公司网站,中国室内设计联盟app,动态手机网站怎么做的,wordpress 目录模板下载大家好#xff0c;我想做这个视频已经有一段时间了。这是一个全面但面向普通观众的介绍#xff0c;介绍像ChatGPT这样的大型语言模型。我希望通过这个视频让大家对这种工具的工作原理有一些概念性的理解。
首先#xff0c;我们来谈谈你在这个文本框里输入内容并点击回车后背…
大家好我想做这个视频已经有一段时间了。这是一个全面但面向普通观众的介绍介绍像ChatGPT这样的大型语言模型。我希望通过这个视频让大家对这种工具的工作原理有一些概念性的理解。
首先我们来谈谈你在这个文本框里输入内容并点击回车后背后的运作机制。我们应该输入什么这些生成出来的词又是怎么回事它是如何工作的你到底是在和什么交流
我们将从构建像ChatGPT这样的东西开始讲起在这个过程中我会提到一些这些工具在认知心理学方面的影响。
预训练数据互联网
预训练阶段是整个过程的第一步。预训练阶段的第一步是从互联网下载和处理数据。为了让大家对这个有个直观的感受我推荐大家看看这个网址。有一家公司叫Hugging Face他们收集、整理并创建了一个名为FineWeb的数据集。他们在这个博客文章里详细介绍了FineWeb数据集的构建过程。像OpenAI、Anthropic和Google等主要的LLM提供商内部也有类似的数据集。
我们试图从互联网上获取大量高质量的文本这些文本来源公开可用并且我们希望文档的种类非常丰富因为我们希望模型能包含大量的知识。实现这个目标其实很复杂需要多个步骤。比如FineWeb数据集最终大概是44TB的磁盘空间。虽然互联网非常大但我们处理的是文本并且经过了严格的筛选。
Common Crawl是一个从2007年开始就一直在抓取互联网的组织。截至2024年他们索引了27亿个网页。他们有很多爬虫在互联网上抓取数据从一些种子网页开始顺着链接不断抓取并索引信息。Common Crawl的数据很原始需要经过很多处理步骤比如URL过滤去除恶意网站、垃圾网站等文本提取把HTML代码转化为纯文本语言过滤比如FineWeb会用语言分类器筛选出英语占比超过65%的网页还有去重和去除个人身份信息等操作。
标记化Tokenization
在把文本输入神经网络之前我们需要决定如何表示这些文本并将其输入。我们的技术要求文本是一维符号序列并且符号数量有限。我们先把文本转化为UTF - 8编码的原始比特然后通过字节对编码算法等方式将文本转化为有限的符号序列。比如GPT - 4使用了大约10万个可能的符号。
神经网络的输入输出
我们把文本序列用标记器转化为标记序列后就进入神经网络训练阶段。我们希望模型学习标记在序列中的统计关系。我们会从数据中选取一定长度的标记窗口预测下一个标记。开始时神经网络是随机初始化的我们会根据预测结果和真实标签调整网络参数让正确答案的概率更高。
神经网络内部
神经网络的输入是变长标记序列输出是对下一个标记的预测概率。这些参数就像DJ调音台上的旋钮通过调整参数来优化模型的预测结果。现代神经网络有数十亿个参数训练过程就是不断调整这些参数使其与训练数据的统计模式相匹配。
推理Inference
推理阶段是从模型中生成新数据。我们从一些起始标记开始根据模型的概率分布采样下一个标记不断重复这个过程。由于采样和随机性的存在生成的结果具有一定的随机性可能与训练数据不完全相同。
GPT - 2训练和推理
GPT - 2是OpenAI发布的第二代Transformer神经网络有16亿个参数最大上下文长度为1242个标记训练了约1000亿个标记。我曾尝试复现GPT - 2训练成本在2019年估计约为40000美元现在可以做得更好且成本更低。
Llama 3.1基础模型推理
我们还可以使用一些大科技公司训练好的模型。比如Llama 3它是Meta发布的450亿参数模型训练了15万亿个标记。Meta还发布了Instruct版本使其成为一个助手模型。我们可以与基础模型交互但它还不是完整的助手只是一个标记自动补全工具并且结果是随机的。虽然它能提供一些知识但这些知识是模糊、概率性的而且可能存在幻觉。不过通过巧妙的提示设计基础模型也可以在一些实际应用中发挥作用比如构建翻译应用等。甚至可以通过特定的提示结构让基础模型扮演助手的角色。
最后我们来回顾一下从预训练到后训练的过程。我们希望训练像ChatGPT这样的LLM助手预训练阶段主要是获取互联网文档将其分割成标记然后用神经网络预测标记序列。
参考
https://www.youtube.com/live/7xTGNNLPyMI
