网站建设运营费用,开源主题wordpress,百度竞价代运营公司,网站制作没有原创图片怎么办ChatGPT 在全世界范围内风靡一时#xff0c;我现在每天都会使用 ChatGPT 帮我回答几个问题#xff0c;甚至有的时候在一天内我和它对话的时间比和正常人类对话还要多#xff0c;因为它确实“法力无边#xff0c;功能强大”。 ChatGPT 可以帮助我解读程序#xff0c;做翻译… ChatGPT 在全世界范围内风靡一时我现在每天都会使用 ChatGPT 帮我回答几个问题甚至有的时候在一天内我和它对话的时间比和正常人类对话还要多因为它确实“法力无边功能强大”。 ChatGPT 可以帮助我解读程序做翻译提供思路等等。 所以我就很好奇 ChatGPT 是怎么训练得到的怀揣着好奇心我带着大家一探究竟。 当然ChatGPT 的论文还没有正式发布想要完美解读它现在是不可能的不过我们知道 ChatGPT 和 Open AI 的另一项工作 InstructGPT 息息相关。 这是 ChatGPT 官网上面的模型训练过程。 这是 InstructGPT 论文中的模型训练过程。 对比这两张图片不能说一模一样只能说完全一致。 所以我们就按照 InstructGPT 的论文讲一讲 ChatGPT 吧。 1. 学习文字接龙 GPT (Generative Pre-trained Transformer) 模型就是在海量的文本数据上学习文字接龙通过训练掌握基于前文内容生成后续文本的能力。这样的训练不需要人类标注数据自监督学习只需要给一段话的上文同时把下文遮住将 GPT 模型的回答与语料中下文的内容做对比进行优化。 如上图所示我们输入“我爱”让 GPT 做文字接龙绿色柱子的高低理解为输出概率的大小GPT 的输出最有可能是“你”当然也可能是“吃”或“玩”。 GPT 的输出通常是通过概率采样得到的。在生成文本时模型根据前面的文本内容和当前的上下文计算每个可能的输出单词的概率分布。然后模型会根据这个概率分布对下一个单词进行采样得到最终的输出单词。在采样的过程中模型通常使用一种称为 “softmax” 的函数来转换概率分布从而确保所有可能的输出单词的概率总和为1。 由于采样的过程是基于随机性的因此即使提供相同的输入和上下文模型生成的文本输出也可能会有所不同。使用概率采样可以产生更有趣、更有意思的文本输出。这就可以解释为什么 ChatGPT 对于相同的问题往往会有不一样的答案当然概率采样也可能会导致一些质量较低的输出例如语法错误、重复和不相关的单词。 2. 人类老师的引导 只是让 GPT 自己做自监督的文字接龙是有局限性的因为机器是没有感情的因为 GPT 不知道什么样的答案是有效的所以需要人类力量的介入引导 GPT 生成有用的答案。 首先我们从问题数据集prompt dataset中挑出一些问题。让真正的人类labeler给出这些问题的正确答案。这样就形成了有标签的数据集这些数据用于微调 GPT-3.5这个过程也称作 supervised fine-tuning (SFT) 3. 模仿人类老师的喜好 可是人类的力量也是有限的我们不可能让人类老师给出所有问题的答案但是我们可以给 GPT 生成的答案进行评分这就相对轻松很多了。 比如我们让刚刚训练好的 SFT 模型回答相同的问题四次这样就产生了四个不同的答案 A、B、C、D 。然后人工对这些答案进行评分或者说是评级rank比如 D C A B 。这样就又形成了一部分数据来训练 reward model(RM)从而训练出一个符合人类评价标准的 Reward 模型。这样下次 GPT 生成答案就不需要人工评分了直接把答案放到 Reward 模型中去就可以自动判断答案的好坏了。如下图所示对于相同问题的不同答案Reward Model 学习到了在合理的答案上面打“高分”在不合理的答案上打“低分”。 4. 强化学习 根据 Reward Model 的打分结果继续优化 SFT 模型。 使用强化学习的技术调整 GPT 模型参数使 GPT 生成的答案通过 Reward Model 可以得到最高的 Reward重复这个过程ChatGPT 就训练出来了。 5. RLHF 所以 ChatGPT 是一种通过 RLHF 训练得到的语言模型Reinforcement Learning from Human Feedback (RLHF) 是一种基于人类反馈的强化学习方法它通过与人类交互来获得任务的奖励信号从而实现任务的学习。 RLHF 通过与人类交互来获得任务的奖励信号Reward并通过基于梯度的强化学习算法来优化策略实现任务的学习。与传统的强化学习方法相比RLHF不需要为任务定义奖励函数因此更具有实际应用的价值。 6. 使用ChatGPT做个总结 ChatGPT是一种基于神经网络的自然语言处理模型它可以生成类似于人类语言的对话并被广泛用于聊天机器人、智能客服等应用领域。该模型使用了预训练的方式进行训练可以自动学习语言的规则和模式从而能够生成自然流畅的对话。ChatGPT在社会中产生了广泛的影响。首先它为人工智能在自然语言处理领域的应用开辟了新的道路。它可以帮助人们更加便捷地获取信息、解决问题、进行娱乐等进一步提高了人们的生活质量。其次它也推动了人工智能技术的发展和普及为人工智能技术在更多领域的应用提供了借鉴和参考。未来ChatGPT在技术上还有很大的发展空间。一方面可以通过增加模型的深度和复杂度来提高模型的精度和泛化能力。另一方面可以通过结合其他技术如图像识别、情感分析等进一步提升模型的功能和性能。此外ChatGPT也可以与其他技术结合如语音识别、自然语言生成等来实现更加人性化的交互方式为人们提供更加便捷的服务和体验。总之ChatGPT是一种重要的自然语言处理技术对社会产生了广泛的影响未来也有着广阔的发展前景。它为人们提供了更加便捷、高效、智能化的服务和体验有望在不久的将来成为人们日常生活中必不可少的一部分。同时ChatGPT的发展也将推动人工智能技术的发展为人们带来更多的福利和发展机会。
