网站前端建设都需要什么,莱芜信息港网页,广告网站 源码,网页设计简单作业成品预训练有什么用
传统的机器学习是偏数学的#xff0c;对数据的量不做过多要求#xff0c;而深度学习的项目通常是有大量的数据可供使用。
在平常的任务或者项目中#xff0c;我们可能并没有大量数据#xff0c;只有少量数据#xff0c;在这时我们就可以通过“借用”有大…预训练有什么用
传统的机器学习是偏数学的对数据的量不做过多要求而深度学习的项目通常是有大量的数据可供使用。
在平常的任务或者项目中我们可能并没有大量数据只有少量数据在这时我们就可以通过“借用”有大数据支持的模型的参数作为基准这样就能提高效率和准确率。因为他们神经网络的浅层是相似的也就是说在任务相似的情况下可以用已有的模型即“预训练”好的模型参数实现小数据量的模型训练。
预训练可以节省训练时间和成本。
预训练是什么
通过一个已训练好的模型A去完成一个小数据量的任务B前提任务A和任务B极其相似。
分两步 冻结浅层参数不变 微调浅层参数会跟着训练而改变
预训练怎么用
fairseq、transformers库
