官网网站模板,苏州网站建设网,房产信息网网址,丹徒网站建设代理商【LLM-驯化】成功配置多模态大模型InternLM-XComposer微调环境 本次修炼方法请往下查看 #x1f308; 欢迎莅临我的个人主页 #x1f448;这里是我工作、学习、实践 IT领域、真诚分享 踩坑集合#xff0c;智慧小天地#xff01; #x1f387; 免费获取相关内容文档关注 欢迎莅临我的个人主页 这里是我工作、学习、实践 IT领域、真诚分享 踩坑集合智慧小天地 免费获取相关内容文档关注微信公众号发送 pandas 即可获取 相关内容视频讲解 B站 博主简介AI算法驯化师混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位 个人申请专利40熟练掌握机器、深度学习等各类应用算法原理和项目实战经验。 技术专长 在机器学习、搜索、广告、推荐、CV、NLP、多模态、数据分析等算法相关领域有丰富的项目实战经验。已累计为求职、科研、学习等需求提供近千次有偿|无偿定制化服务助力多位小伙伴在学习、求职、工作上少走弯路、提高效率近一年好评率100% 。 博客风采 积极分享关于机器学习、深度学习、数据分析、NLP、PyTorch、Python、Linux、工作、项目总结相关的实用内容。 1. InternLM-XComposer介绍 Intern-XComposer2-VL-7B是一个多模态视觉-语言预训练模型它结合了视觉和语言信息用于理解和生成跨模态内容。这种模型在图像描述、视觉问答、视觉对话等任务中表现出色具体的榜单效果评估如下所示 从上述的榜单可以看出intern-xcomposer2-vl-7b在模型的整体性能上面还是很能打的不仅评估效果相对比较优化同时模型的整体参数大小也不是特别的大感兴趣的可以去在线体验接口进行访问体验链接具体的如下所示 2. 微调环境搭配 微调代码和环境的相关配置可以去github上面去找到相应的代码即可然后拉下来里面有一些相关的坑可以参考跳过 pytorch版本上面小时的pytorch版本是 但是亲测使用上述的版本时有较多的问题这里可以换成torch2.20版本同时我们需要对其进行调整 当下载模型下来还需要下载一下视频编码器vit同时需要改变视觉编码器的路径具体的修改在如下目录下 然后在修改里面的视觉编码器的值改成自己的路径即可 3. 特别注意点 安装的教程里面明确制定了transforms的版本这个大家一定要指定不然会报如下的错误 raise AttributeError(f{type(self).__name__} object has no attribute {name})
AttributeError: CLIPEncoder object has no attribute _gradient_checkpointing_func. Did you mean: gradient_checkpointing?0%| | 0/535 [00:04?, ?it/s]
[2024-07-11 09:39:48,813] torch.distributed.elastic.multiprocessing.api: [WARNING] Sending process 13902 closing signal SIGTERM
[2024-07-11 09:39:48,813] torch.distributed.elastic.multiprocessing.api: [WARNING] Sending process 13905 closing signal SIGTERM
[2024-07-11 09:39:48,814] torch.distributed.elastic.multiprocessing.api: [WARNING] Sending process 13906 closing signal SIGTERM
[2024-07-11 09:39:49,805] torch.distributed.elastic.multiprocessing.api: [ERROR] failed (exitcode: 1) local_rank: 1 (pid: 13903) of binary: /mnt/dolphinfs/hdd_pool/docker/user/hadoop-hmart-peisongpa/tanyunfei/conda/envs/llm/bin/python3.10 这个时候就是transforms的版本不匹配的问题我们需要将其替换成如下的版本即可
pip install transformers4.3.32
