浦江网站建设yw126,延边app网站开发,wordpress手机底部,聊城正规网站建设设计公司#x1f6a9;#x1f6a9;#x1f6a9;Hugging Face 实战系列 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在PyCharm中进行 本篇文章配套的代码资源已经上传 从零构建属于自己的GPT系列1#xff1a;数据预处理 从零构建属于自己的GPT系列2#xff1a;模型训…Hugging Face 实战系列 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在PyCharm中进行 本篇文章配套的代码资源已经上传 从零构建属于自己的GPT系列1数据预处理 从零构建属于自己的GPT系列2模型训练1 从零构建属于自己的GPT系列3模型训练2 从零构建属于自己的GPT系列4模型训练3 从零构建属于自己的GPT系列5模型部署1 从零构建属于自己的GPT系列6模型部署2
1 前端环境安装
安装
pip install streamlit测试
streamlit hello安装完成后测试后打印的信息 (Pytorch) C:\Users\adminstreamlit hello Welcome to Streamlit. Check out our demo in your browser. Local URL: http://localhost:8501 Network URL: http://192.168.1.187:8501 Ready to create your own Python apps super quickly? Head over to https://docs.streamlit.io May you create awesome apps! 接着会自动的弹出一个页面
2 模型加载函数
这个函数把模型加载进来并且设置成推理模式
def get_model(device, model_path):tokenizer CpmTokenizer(vocab_filevocab/chinese_vocab.model)eod_id tokenizer.convert_tokens_to_ids(eod) # 文档结束符sep_id tokenizer.sep_token_idunk_id tokenizer.unk_token_idmodel GPT2LMHeadModel.from_pretrained(model_path)model.to(device)model.eval()return tokenizer, model, eod_id, sep_id, unk_id模型加载函数加载设备cuda已经训练好的模型的路径加载tokenizer 文件结束特殊字符分隔特殊字符未知词特殊字符加载模型模型进入GPU开启推理模式返回参数
device_ids 0
os.environ[CUDA_DEVICE_ORDER] PCI_BUS_ID
os.environ[CUDA_VISIBLE_DEVICE] str(device_ids)
device torch.device(cuda if torch.cuda.is_available() and int(device_ids) 0 else cpu)
tokenizer, model, eod_id, sep_id, unk_id get_model(device, model/zuowen_epoch40)指定第一个显卡设置确保 CUDA 设备的编号与 PCI 位置相匹配使得 CUDA 设备的编号更加一致且可预测通过设置为 str(device_ids)在这个案例中为 ‘0’指定了进程只能看到并使用编号为 0 的 GPU有GPU用GPU作为加载设备否则用CPU调用get_model函数加载模型
3 文本生成函数
对于给定的上文生成下一个单词
def generate_next_token(input_ids,args):input_ids input_ids[:, -200:]outputs model(input_idsinput_ids)logits outputs.logitsnext_token_logits logits[0, -1, :]next_token_logits next_token_logits / args.temperaturenext_token_logits[unk_id] -float(Inf)filtered_logits top_k_top_p_filtering(next_token_logits, top_kargs.top_k, top_pargs.top_p)next_token_id torch.multinomial(F.softmax(filtered_logits, dim-1), num_samples1)return next_token_id对输入进行一个截断操作相当于对输入长度进行了限制通过模型得到预测得到输出预测的一个词一个词进行预测的得到预测的结果值next_token_logits表示最后一个token的hidden_state对应的prediction_scores,也就是模型要预测的下一个token的概率温度表示让结果生成具有多样性设置预测的结果不可以未知字词的Token防止出现异常的东西通过top_k_top_p_filtering函数对预测结果进行筛选通过预测值转换为概率得到实际的Token ID返回结果
每次都是通过这种方式预测出下一个词是什么
4 多文本生成函数
到这里就不止是预测下一个词了要不断的预测
def predict_one_sample(model, tokenizer, device, args, title, context):title_ids tokenizer.encode(title, add_special_tokensFalse)context_ids tokenizer.encode(context, add_special_tokensFalse)input_ids title_ids [sep_id] context_idscur_len len(input_ids)last_token_id input_ids[-1] input_ids torch.tensor([input_ids], dtypetorch.long, devicedevice)while True:next_token_id generate_next_token(input_ids,args)input_ids torch.cat((input_ids, next_token_id.unsqueeze(0)), dim1)cur_len 1word tokenizer.convert_ids_to_tokens(next_token_id.item())if cur_len args.generate_max_len and last_token_id 8 and next_token_id 3:breakif cur_len args.generate_max_len and word in [., 。, , !, ?, , ,, ]:breakif next_token_id eod_id:breakresult tokenizer.decode(input_ids.squeeze(0))content result.split(sep)[1] # 生成的最终内容return content预测一个样本的函数从用户获得输入标题转化为Token ID从用户获得输入正文转化为Token ID标题和正文连接到一起获取输入长度获取已经生成的内容的最后一个元素把输入数据转化为Tensorwhile循环通过生成函数生成下一个词的token id把新生成的token id加到原本的数据中原本有5个词预测出第6个词将第6个词和原来的5个词进行拼接输入长度增加1将一个 token ID 转换回其对应的文本 token如果超过最大长度并且生成换行符停止生成如果超过最大长度并且生成标点符号停止生成如果生成了结束符停止生成将Token ID转化为文本将生成的文本按照分隔符进行分割返回生成的内容
从零构建属于自己的GPT系列1数据预处理 从零构建属于自己的GPT系列2模型训练1 从零构建属于自己的GPT系列3模型训练2 从零构建属于自己的GPT系列4模型训练3 从零构建属于自己的GPT系列5模型部署1 从零构建属于自己的GPT系列6模型部署2
