南宁网站建设哪里好,免费文档网站,计算机毕业设计作品网站,大连企业网站排名目录 0. 入门 0.1. NLP发展的四个阶段#xff1a; Prompt工程如此强大#xff0c;我们还需要模型训练吗#xff1f; - 知乎 Prompt learning系列之prompt engineering(二) 离散型prompt自动构建 Prompt learning系列之训练策略篇 - 知乎 ptuning v2 的 chatglm垂直领域训练记… 目录 0. 入门 0.1. NLP发展的四个阶段 Prompt工程如此强大我们还需要模型训练吗 - 知乎 Prompt learning系列之prompt engineering(二) 离散型prompt自动构建 Prompt learning系列之训练策略篇 - 知乎 ptuning v2 的 chatglm垂直领域训练记录_路人与大师的博客-云服务器哪家好 Pretrain Fine-tuningModel Tuning 对于不同的任务都重新 fine-tune 一个新的模型且不能共用。但是对于一个预训练的大语言模型来说这就仿佛好像是对于每个任务都进行了定制化十分不高效。 Prompt Tuning 对于不同的任务仅需要插入不同的prompt 参数每个任务都单独训练Prompt 参数不训练预训练语言模型这样子可以大大 缩短训练时间也极大的提升了模型的使用率。 0. 入门 0.1. NLP发展的四个阶段 1st阶段 feature engineering 需要相关研究人员或者专业人士利用自己扎实的领域知识从原始数据中定义并提取有用的特征供模型学习。依赖于大量的人工 2nd阶段architecture engineering 如何设计一个合理的网络结果去学习有用的特征从而减少对人工构建特征的依赖。 3rd阶段objective engineering Pre-train, Fine-tune更注重于目标的设计合理设计预训练跟微调阶段的目标函数对最终的效果影响深远。前面两个阶段都依赖于有监督学习但是这个阶段里的预训练可以不需要有监督的数据极大的降低了对监督语料的依赖。 4th阶段prompt engineering 在特定下游任务下可以通过引入合适的模版(prompt)去重构下游任务管控模型的行为实现zero shot或者few shot。一个合适的模版甚至可以让模型摆脱对下游特定任务数据的要求所以如何构建一个合理有效的prompt成为了重中之重。 什么是Prompt Prompt就是提示词的意思一种为了更好的使用预训练语言模型的知识采用在输入段添加额外的文本的技术。 目的更好挖掘预训练语言模型的能力手段在输入端添加文本即重新定义任务task reformulation 在NLP中Prompt代表是什么呢 prompt 就是给 预训练语言模型 的一个线索/提示帮助它可以更好的理解 人类的问题。 例如下图的BERT/BART/ERNIE 均为预训练语言模型对于人类提出的问题以及线索预训练语言模型可以给出正确的答案。 根据提示BERT能回答JDK 是 Oracle 研发的根据 TL;DR: 的提示BART知道人类想要问的是文章的摘要根据提示ERNIE 知道人类想要问鸟类的能力–飞行 Prompt工作流 Prompt工作流包含一下4部分 Prompt模版 Template的构造Prompt答案空间映射Verbalizer的构造文本代入 Template并且使用晕训练语言模型进行训练将预测结果映射回label step1prompt construction【Template】 首先我们构造一个模版模版的作用是将输入和输出进行重新构造变成一个新的带有mask slots的文本 定义一个模版包含2出带填入的slots【x】和【z】将【x】用输入文本代入 例如 输入x 我喜欢这个电影。 模版【x】总而言之它是一个【z】电影 代入prompting我喜欢这个电影。总而言之它是一个【z】电影 step2answer construction【verbalizer】 对于构造的prompt需要知道预测词和label之间的关系并且z不是任意词需要一个mapping function将输出词与label进行映射。 例如 step3answer prediction【Prediction】 选择合适的预训练模型进行mask slots 【z】的预测。 例如 step4answer-label mapping【mapping】 得到的answer需要使用verbalizer将其映射回原本的label 例如fantastic 映射回label 总结 Terminology Notion Example Input x I love this movie Output(label) y Template - 【x】overallit was a 【z】movie Prompt x I love this movie. overall,it was a 【z】movie Answer z fantastic, boring Prompt-based Training Strategies (训练策略选择) Prompt-based模型子啊训练中有多重训练策略可以选择那些模型部分训练哪些不训练。 根据训练数据的多少分为 Zero-shot 对于下游任务没有任何训练数据 Few-shot 对于下游任务只有很少的训练数据例如100条 Full-shot 有很多训练数据例如1W多条数据 Prompt Mining 人工构建Prompt的方式有两个弊端人工构建Prompt和测试Prompt效果耗费时间跟精力另一方面专业人士也不一定能通过人工的方式构建最优的prompt。为了解决这个问题自然而然就衍生自动构建prompt的方式自动构建prompt分为离散型的promptprompt可以用具体的字符表示和 连续型的promptprompt由向量替代
