惠州做网站 百度优化,wordpress的alt属性插件,做国内网站花费,系统网站建设公司为finetuning进行的热身准备#xff0c;涉及周边的软件工具#xff0c;方法。
问题1#xff1a;finetuning过程较长#xff0c;采用系统自带命令行没有后台#xff0c;前台被杀后#xff0c;容易造成训练失败。
解决方法#xff1a; tmux可以开启后台训练
问题2…为finetuning进行的热身准备涉及周边的软件工具方法。
问题1finetuning过程较长采用系统自带命令行没有后台前台被杀后容易造成训练失败。
解决方法 tmux可以开启后台训练
问题2大模型训练过程会有几个G 的bin等文件不宜下载频繁
解决方法Git LFS可以进行git屏蔽和指定文件下载 1. tmux
1.1 安装
brew install tmux 1.2 启动
启动tmux
1.3 查看已创建的会话 1.4 分屏
①ctrl B 松开
②shift %
1.5 分屏后的窗口中的光标互相切换
快捷键先按ctrlb, 放开后再按下o
1.6 新建session
tmux new -s Session-name
1.7 进入一个已知会话
tmux a -t Session-name
1.8 关闭会话
tmux kill-session -t Session-name
2.Git LFS
Git LFS(Large File Storage)是一个用于版本控制系统中管理大文件如视频、图形或大型数据文件的扩展
以chatglm3-6b模型为例如下 很多1个多G的文件着实很大。每次下载都需要把不同分支的内容下载下来内容会非常大浪费时间。lfs是个不错的选择。
2.1 lfs安装
git lfs install
2.2 配置lfs 克隆
GIT_LFS_SKIP_SMUDGE1 git clone repository-addr
即时git pull 也不会把大文件拉下来。
2.3 指定匹配对象
git lfs fetch --include 命令允许你指定要下载的LFS对象的路径模式。这意味着你可以选择只下载与给定模式匹配的LFS对象而不是下载整个仓库的所有LFS对象。
这个命令会下载与指定模式匹配的所有LFS对象并将其存储在本地LFS缓存中。
2.4 下载
git lfs checkout用于将 LFS 追踪的大文件从远程存储库下载到本地工作副本 工欲善其事必先利其器
开始训练
