js企业网站模板,建设电动摩托车官网,发视频的网址网址是什么?,之梦系统怎么修改网站标头图片文章目录 L0——入门岛玩转HF/魔搭/魔乐社区HF 平台1 注册2 InternLM模型下载3 GitHub CodeSpace的使用4 Hugging Face Spaces的使用5 模型上传 魔搭社区平台简介创建开发机环境配置 下载指定多个文件上传模型 魔乐社区平台下载internlm2_5-chat-1_8b模型上传模型 始智AI平台下… 文章目录 L0——入门岛玩转HF/魔搭/魔乐社区HF 平台1 注册2 InternLM模型下载3 GitHub CodeSpace的使用4 Hugging Face Spaces的使用5 模型上传 魔搭社区平台简介创建开发机环境配置 下载指定多个文件上传模型 魔乐社区平台下载internlm2_5-chat-1_8b模型上传模型 始智AI平台下载llava-internlm2-7B模型上传模型 L0——入门岛
玩转HF/魔搭/魔乐社区
HF 平台
1 注册
Hugging Face 最初专注于开发聊天机器人服务。尽管他们的聊天机器人项目并未取得预期的成功但他们在GitHub上开源的Transformers库却意外地在机器学习领域引起了巨大轰动。如今Hugging Face已经发展成为一个拥有超过100,000个预训练模型和10,000个数据集的平台被誉为机器学习界的GitHub。
这里需要进入Hugging Face的官网进行注册 https://huggingface.co/ 国内镜像站 https://hf-mirror.com/
2 InternLM模型下载
在正式下载之前我们先要介绍一下HF的Transformers库作为HF最核心的项目它可以
直接使用预训练模型进行推理提供了大量预训练模型可供使用使用预训练模型进行迁移学习
因此在使用HF前我们需要下载Transformers等一些常用依赖库 这里我们以internlm2_5-1_8b举例查看Hugging Face上该模型的地址 https://huggingface.co/internlm/internlm2_5-1_8b https://hf-mirror.com/internlm/internlm2_5-1_8b 3 GitHub CodeSpace的使用
因为网络和磁盘有限的原因强烈不建议在 InternStudio 执行机上运行因此这里使用CodeSpace
https://github.com/codespaces 或 https://bgithub.xyz/codespaces
Github CodeSpace是Github推出的线上代码平台提供了一系列templates我们这里选择Jupyter Notebook进行创建环境。创建好环境后可以进入网页版VSCode的界面这就是CodeSpace提供给我们的在线编程环境。 在界面下方的终端terminal安装以下依赖便于模型运行。 逐次安装以下依赖
# 安装transformers
pip install transformers4.38
pip install sentencepiece0.1.99
pip install einops0.8.0
pip install protobuf5.27.2
pip install accelerate0.33.0下载internlm2_5-7b-chat的配置文件
个人GitHub CodeSpace硬盘空间有限32GB可用而7B的模型相对较大这里仅演示如何下载模型文件夹的特定文件。 考虑到CodeSpace平台上默认的用户权限不是root权限这里为方便演示直接在工作区创建文件即 /workspaces/codespaces-jupyter 目录
以下载模型的配置文件为例先新建一个hf_download_json.py 文件
touch hf_download_json.py在这个文件中粘贴以下代码
import os
from huggingface_hub import hf_hub_download# 指定模型标识符
repo_id internlm/internlm2_5-7b# 指定要下载的文件列表
files_to_download [{filename: config.json},{filename: model.safetensors.index.json}
]# 创建一个目录来存放下载的文件
local_dir f{repo_id.split(/)[1]}
os.makedirs(local_dir, exist_okTrue)# 遍历文件列表并下载每个文件
for file_info in files_to_download:file_path hf_hub_download(repo_idrepo_id,filenamefile_info[filename],local_dirlocal_dir)print(f{file_info[filename]} file downloaded to: {file_path})运行该文件注意文件目录请在该文件所在目录下运行该文件
python hf_download_json.py可以看到已经从Hugging Face上下载了相应配置文件
下载internlm2_5-chat-1_8b并打印示例输出 那么如果我们需想要下载一个完整的模型文件怎么办呢创建一个python文件用于下载internlm2_5-1_8B模型并运行。下载速度跟网速和模型参数量大小相关联如果网速较慢的小伙伴可以只尝试下载1.8b模型对应的config.json文件以及其他配置文件。
touch hf_download_1_8_demo.py注意到在CodeSpace平台上是没有GPU资源的因此我们Python代码中只使用CPU进行推理我们需要修改跟CUDA有关的API在hf_download_1_8_demo.py文件中粘贴以下内容
import torch
from transformers import AutoTokenizer, AutoModelForCausalLMtokenizer AutoTokenizer.from_pretrained(internlm/internlm2_5-1_8b, trust_remote_codeTrue)
model AutoModelForCausalLM.from_pretrained(internlm/internlm2_5-1_8b, torch_dtypetorch.float16, trust_remote_codeTrue)
model model.eval()inputs tokenizer([A beautiful flower], return_tensorspt)
gen_kwargs {max_length: 128,top_p: 0.8,temperature: 0.8,do_sample: True,repetition_penalty: 1.0
}# 以下内容可选如果解除注释等待一段时间后可以看到模型输出
output model.generate(**inputs, **gen_kwargs)
output tokenizer.decode(output[0].tolist(), skip_special_tokensTrue)
print(output)运行该文件
python hf_download_1_8_demo.py等待几分钟后会在控制台返回模型生成的结果 这里以“A beautiful flower”开头模型对其进行“续写”InternLM的模型拥有强大的数学方面的能力。这边它输出的文本似乎是关于一个数学问题具体是关于一个花园面积的计算。
4 Hugging Face Spaces的使用
Hugging Face Spaces 是一个允许我们轻松地托管、分享和发现基于机器学习模型的应用的平台。Spaces 使得开发者可以快速将我们的模型部署为可交互的 web 应用且无需担心后端基础设施或部署的复杂性。
可以从首页进入 首先访问以下链接进入Spaces。在右上角点击Create new Space进行创建
https://huggingface.co/spaces 或
https://hf-mirror.com/spaces/在创建页面中输入项目名为intern_cobuild并选择Static应用进行创建。 创建成功后会自动跳转到一个默认的HTML页面。 创建好项目后回到我们的CodeSpace接着clone项目。
注意这里请替换你自己的username
cd /workspaces/codespaces-jupyter
# 请将your_username替换你自己的username
git clone https://huggingface.co/spaces/leishenggungun/intern_cobuild
cd /workspaces/codespaces-jupyter/intern_cobuild找到该目录文件夹下的index.html文件修改我们的html代码
!doctype html
html
headmeta charsetutf-8 /meta nameviewport contentwidthdevice-width /titleMy static Space/titlestylehtml, body {margin: 0;padding: 0;height: 100%;}body {display: flex;justify-content: center;align-items: center;}iframe {width: 430px;height: 932px;border: none;}/style
/head
bodyiframe srchttps://colearn.intern-ai.org.cn/cobuild titledescription/iframe
/body
/html保存后就可以push到远程仓库上了它会自动更新页面。
git add .
git commit -m update: colearn page
git push当push报错时需要进行如下处理 在 hugginface 中进入到profile页面选择 access token。 创建一个 write 类型的token。 弹出生成的token界面需要复制后进行保存因为之后再也看不到全部内容。在上传时输入token即可上传成功。 再次进入Space界面就可以看到我们实战营的共建活动捏~
5 模型上传
通过CLI上传 Hugging Face同样是跟Git相关联通常大模型的模型文件都比较大因此我们需要安装git lfs对大文件系统支持。
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs # CodeSpace里面可能会有aptkey冲突且没有足够权限
git lfs install # 直接在git环境下配置git LFS
pip install huggingface_hub在CodeSpace里面使用如下命令
git config --global credential.helper store
huggingface-cli login命令进行登录这时需要输入刚刚的token 创建项目
cd /workspaces/codespaces-jupyter#intern_study_L0_4就是model_name
huggingface-cli repo create intern_study_L0_4# 克隆到本地 your_huggingface_name 注意替换成你自己的
git clone https://huggingface.co/{your_huggingface_name}/intern_study_L0_4克隆好之后刷新文件目录可以看到克隆好的intern_study_L0_4文件夹。
我们可以把训练好的模型保存进里面这里考虑到网速问题只上传我们刚刚下载好的config.json把它复制粘贴进这个文件夹里面.
cd intern_study_L0_4
cp ../internlm2_5-7b/config.json .写一个README.md文件粘贴以下内容 touch README.md
# 书生浦语大模型实战营camp4
- hugging face模型上传测试
- 更多内容请访问 https://github.com/InternLM/Tutorial/tree/camp4现在可以用git提交到远程仓库
git add .
git commit -m add:intern_study_L0_4
git push现在可以在Hugging Face的个人profile里面看到这个model也可以直接将下面的Url输入到浏览器网址栏上
https://huggingface.co/leishenggungun/intern_study_L0_4魔搭社区平台
简介
ModelScope 是一个“模型即服务”(MaaS)平台由阿里巴巴集团的达摩院推出和维护。它旨在汇集来自AI社区的最先进的机器学习模型并简化在实际应用中使用AI模型的流程。通过ModelScope用户可以轻松地探索、推理、微调和部署各种AI模型。
注册登录ModelScope平台进入导航栏模型库可以搜索internlm找到相关模型但是这也包括非官方模型在这里我们可以搜索 internlm2_5-chat-1_8b下载1.8b的对话模型也类似于hugging face 一样拥有具体的详情页。
创建开发机
选择 10% 的开发机镜像选择为 Cuda-12.2。在输入开发机名称后点击创建开发机。 创建好开发机后进入开发机。 接着在当前终端上可以输入命令了这里可以直接粘贴以下命令。最好一行一行粘贴等每个命令跑完之后再粘贴下一行。
环境配置
为ms_demo创建一个可用的conda虚拟环境可以和其他环境区分开来。
# 激活环境
conda activate /root/share/pre_envs/pytorch2.1.2cu12.1# 安装 modelscope
pip install modelscope -t /root/env/maas
pip install numpy1.26.0 -t /root/env/maas
pip install packaging -t /root/env/maas注意为了保证能够找到我们每次装的依赖每次新建一个终端之后都需要配置path 如果不改变终端配置一次就够了。
export PATH$PATH:/root/env/maas/bin
export PYTHONPATH/root/env/maas:$PYTHONPATH接着创建我们的demo目录
mkdir -p /root/ms_demo下载指定多个文件
internlm2_5-7b-chat
考虑到7B的模型文件比较大这里我们先采用modelscope的cli工具当然hugging face也有来下载指定文件在命令行输入以下命令
modelscope download \--model Shanghai_AI_Laboratory/internlm2_5-7b-chat \tokenizer.json config.json model.safetensors.index.json \--local_dir /root/ms_demo这里的输出可能会串行不影响使用。
刷新一下文件目录就能看到在ms_demo中下载了指定的json文件。 internlm2_5-1_8b-chat
modelscope download \--model Shanghai_AI_Laboratory/internlm2_5-1_8b-chat \tokenizer.json config.json model.safetensors.index.json \--local_dir /root/ms_demo上传模型
魔搭社区类似HF也有一套创建模型的界面。不同的是它具有审核机制当符合它的社区规范时才会被公开。那么当上传正常的模型文件后审核一般就会通过了。
上传文件的方法可以直接通过平台添加文件也可以通过git下载模型后进行修改和上传文件。
#Git模型下载
git clone https://www.modelscope.cn/your_username/your_model在平台上创建一个模型。url为 https://www.modelscope.cn/models/xianzaijiweilai/internlm2_5-1_8b-chat 在通过git提交文件时需要使用社区中的访问令牌。 提交成功后如下 在社区页面查看模型文件
魔乐社区平台
魔乐社区Modelers是一个提供多样化、开源模型的平台旨在促进开发者和研究人员在最先进的模型和流行应用上进行协作。
下载internlm2_5-chat-1_8b模型
在执行机进行如下操作
cd /
mkdir ml_demo
cd ml_demo然后在当前目录下载该模型
# 确保安装git-lfs 保证大文件的正常下载
apt-get install git-lfs
git lfs install
# clone 仓库
git clone https://modelers.cn/Intern/internlm2_5-1_8b-chat.git刷新一下文件夹即可在ml_demo中找到下载好的模型文件文件下载完成lfs 大文件可能会下载失败需要重复多次也可以单独从页面进行下载。 在魔乐社区中还推荐了一个新的深度学习开发套件openMind Library除了常用的Transforms的API也可以探索如何使用openMind来加载模型。
# 确保按指南安装好openmind后
from openmind import AutoModel
model AutoModel.from_pretrained(Intern/internlm2_5-1_8b-chat, trust_remote_codeTrue)openMind Library是一个深度学习开发套件通过简单易用的API支持模型预训练、微调、推理等流程。 openMind Library通过一套接口兼容PyTorch和MindSpore等主流框架同时原生支持昇腾NPU处理器。 上传模型
在魔乐社区一般有两种方法第一种是安装好openmid后使用openmind的API来上传文件另一个就是用git命令来推送文件跟一般的git工作流相类似。 创建模型 下载模型 上传模型文件 创建token及访问令牌 令牌创建好后需要自己保存下来。 之后上传文件平台
始智AI平台
始智AI平台wisemodel是一个中立开放的AI开源社区 是一个提供多样化开源模型、数据集以及训练和微调的一站式平台。
下载llava-internlm2-7B模型
进入平台 https://www.wisemodel.cn 进行注册。 注册好该平台后我们可以在创建好的InternStudio开发机下下载模型
cd /
mkdir wise_model
cd wise_model设的账户名是username那么可以用以下方式下载公有仓库的模型
git lfs install
git clone https://www.wisemodel.cn/用户名/llava-internlm2-7b.git需要注意的是该平台无论是下载还是上传都需要输入token信息。
上传模型
假设你的模型文件位于/work/my_model_dir本地目录下
cd my_test_model #进入同步模型仓库的目录
cp -rf /work/my_model_dir/* . #从/work/my_model_dir本地目录把文件拷贝到模型仓库
git add -A . #执行更新git目录
git commit -m commit message #合并文件并填写更新说明
git push #将本地文件上传更新
