深圳专业做网站排名公司,互联网营销师怎么报考,网站建设的基本流程包括,微网建设管理系统0. 前言
文章是公司内部分享学习写的预研报告#xff0c;里面有小部分文段是直接从网上借鉴的#xff0c;侵删
1. 任务和方法历史进化#xff1a; 在大模型等类似的预训练模型的方式#xff08;以包含“预训练阶段”等n阶段训练方式为特色#xff09;为主流之前#xf…0. 前言
文章是公司内部分享学习写的预研报告里面有小部分文段是直接从网上借鉴的侵删
1. 任务和方法历史进化 在大模型等类似的预训练模型的方式以包含“预训练阶段”等n阶段训练方式为特色为主流之前以前通常把“从图片到文字”的多模态的任务进行了细致的划分 如图片描述任务/看图说话任务Image Caption、视觉问答任务Visual Question AnsweringVQA等等 在大模型的技术路线成为主流后由于预训练阶段不区分具体的细分任务而是完成了A模态分布到B模态分布的理解和映射因此现在普遍统称为图生文任务image2text 以往针对单一任务一般流行end2end的网络近期借助于NLP的发展利用大模型既有的对自然语言的理解能力和知识衍生了一些基于LLM模型能力之上的方法如ALBEF、BLIP、CLIP等。如BLIP是freeze住LLM的参数只训练特定部分的网络而不是以前流行的那种end2end方式 以前之所以被“e2e”思想统治是因为以前的网络大家发现e2e训练出来的结果比多stage训练的结果好太多了而好太多的原因有很多举几个个人的经验 数据量没到训练LLM这个规模再好的architecture都无法很好的学习到分布在高维空间的有效解耦以前有大量网络也是尝试过encoder-decoder的结构但不敢打断分开训练encoder和decode的原因是中间的象征knowledge/memory/code这些是不同论文里对中间这个bottleneck的称呼的bottleneck对数据的抽取并不足够有效换句话说虽然在论文里对这个提取出来的array叫做knowledge但它没有资格被叫做“knowledge”有些论文中或者说很多算法工程师一些具体的实验中都发现了类似的问题但因为pipeline通常都定下来了对“经过bottleneck出现信息缺失”等问题的尝试修复也只是一些“小巧思”比如加多一个MLP用作简单的attention网络来对knowledge有更好的提取等等。预训练中经过特别设计后的任务和损失函数辅助有效地训练了庞大的基座模型如BEiT中训练阶段设计了一个MIMmasked image modeling的预训练任务基于损坏的图像patch恢复原始视觉token但BEiT用于的细分任务如图像分割就与MIM任务毫无关系架构上比起之前的e2e思想统治时期的模型架构应该要优秀一些这个是我的猜测目前相关的研究还有很多有些在研究模型搞这么大究竟会不会带来更多的坏处e.g.最近有一篇文章认为LLM纯靠“死记硬背”例如现在的pretrainfinetune的方式在预训练阶段会设计不同的任务固定不同部分的模型参数分别进行训练。 2. BLIP的架构是从ALBEF改动而来 ALBEF架构 BLIP(Bootstrapping Language-Image Pretraining)为什么叫Bootstrapping是因为训练数据来自网络图文对包含大量噪声所以增加了一个在线数据打标签和清理的任务把处理好的数据继续用来迭代原模型。 BLIP1架构 BLIP2架构 3. BLIP的这种架构来做图生文任务相比于以前流行的框架通常为end2end 3.1 数据集标注/模型输入输出 传统图生文任务要求有人工标注标注过程如下 给一张图片如 标注人员1会打上标签“一个小孩在骑马” 标注人员2会打上标签“小孩在马上训练马术” 标注人员3会打上标签“身穿马术服的小孩在白色的马上” 不同的标注人员对图片的描述语句的方式不一样有的会描述一件事、有的会描述具体的专业词汇、有的会强调位置关系训练过程中对这些不同的groundtruth用比较宽松的策略都训进去能提升模型输出表达的兼容能力。 BLIP提出的CapFilt方式 在BLIP1中提出了CapFilt方式可以优化传统的图片描述标签在BLIP2中引入了LLM的能力大幅提升了对图片的描述能力。 3.2 训练方式 传统的end2end方式一次性训练完没有预训练阶段和微调阶段的区分 1end2end方式不能很好的训练多分支或者规模较大的模型 2end2end方式的训练成本较高 BLIP为代表的PretrainFinetune的方式对各个部位分开训练 1成本较低 2利用了大模型的能力节省了标注成本和时间 5. 项目分享clip_interrogator 5.1 clip_interrogator 1 CLIP Interrogator - a Hugging Face Space by pharmapsychotic 5.2 clip_interrogator 2.1 CLIP Interrogator 2 - a Hugging Face Space by fffiloni 5.3 对ComfyUI框架写了个移植的clip_interrogator的插件 unanan/ComfyUI-clip-interrogator: Unofficial ComfyUI custom nodes of clip-interrogator (github.com) 5.4 另一个利用stable diffusion的Image2text项目WD14 WaifuDiffusion v1.4 Tags - a Hugging Face Space by SmilingWolf
