珠海网站建设公司哪家好,网站挖掘工具,诚信网站体系建设工作总结,高性价比网站建设GPT到底是什么
首先#xff0c;我们需要了解GPT的全称#xff1a;Generative Pre-trained Transformer#xff0c;即三个关键词#xff1a;生成式 预训练 变换模型。
#xff08;1#xff09;什么是生成式#xff1f;
即能够生成新的文本序列。
#xff08;2#…GPT到底是什么
首先我们需要了解GPT的全称Generative Pre-trained Transformer即三个关键词生成式 预训练 变换模型。
1什么是生成式
即能够生成新的文本序列。
2什么是预训练
即能够在模型数据集基础上进行无监督学习当学习到一些通用的特征或知识就能够讲这些知识迁移到其他任务上。
这种无监督学习是没有标签/目标也没有反馈它自己会寻找数据中隐藏的结构。下图展示了三种学习模式的差别而ChatGPT采用的实无监督学习 和 强化学习。
3什么是变换模型
这是一种神经网络结构通过对输入序列的层层处理得到最终的输出。
简单地说它就是一个黑盒子例如我们在做文本的翻译任务时当我们输入一个中文经过这个黑盒子输出翻译后的英文。当然这个黑盒子内部有一系列的复杂操作通过一些 encoder 和 decoder 生成最终的输出如下图所示。
GPT的本质是猜概率
现阶段的GPT都是在“玩文字游戏”它只是在进行一次又一次的概率解题和我们玩填字游戏是一个逻辑只不过我们人类是靠知识和智慧而AI主要靠概率计算。经过大量的数据训练后AI预测到下图所示的空格中可能会出现的最高概率的词进而将其进行输出。 在基于大语言模型LLM基础上逐渐演进出了两个最主流的方向BERT 和 GPT。在GPT3.0发布前GPT一直弱于BERT而3.0发布之后GPT貌似一骑绝尘了。GPT方向上最知名的玩家非OpenAI莫属从我们开始熟悉的GPT3.5到GPT4.0。
生成式AI全景图
生成式AI应用全景图如下图所示可以看到它可以做很多个类别的事情从文本到编码再到图片以及今年Sora大模型掀起的视频生成浪潮基于每个类别提供的动力我们可以在其上层开发构件潜在的应用程序。
目前生成式AI应用最广泛的当属 文本 和 编码 了也可以看到文本 只是 生成式AI生态中的 一环而不是全部而这一环就是我们现在学习的 ChatGPT。
ChatGPT的进化过程
下面这张图完整展示了ChatGPT的进化过程经过了多年的技术积累最终形成了针对人类反馈信息学习的大规模预训练语言模型。
ChatGPT可以做什么
ChatGPT很能干它可以干50件事情 其中问答、翻译、写文案、提炼文字、生成代码、代码解释 等是最常见的应用场景。
ChatGPT不可以做什么 首先我们需要知道ChatGPT本身不是联网的它的大模型本身就存在时效性在解决你的问题之前它所学到的知识将始终落后当前一段时间因为大模型的重新训练成本很大因此不是每天更新的所以不会联网。
因此我们便可以知道ChatGPT还不会很快地取代Google和百度帮你查到最新的技术文档也没法代替小爱同学帮你查询天气无法替代高德地图帮你推荐附近的美食 等等。
