nginx 网站建设,淘客网站怎么做首页,兰州拼团网站建设,建设网站的一般步骤目录 概述 演示效果 核心逻辑 使用方式 1.裁剪数据集 根据自己的需要选择 2.用couplet数据集训练模型 模型存储在model文件夹中 3.将模型转换为ONNX格式 4.打开index.html就可以在前端使用此自动对对联系统了。 本文所涉及所有资源均在传知代码平台可获取。 概述 这个生成器利用… 目录 概述 演示效果 核心逻辑 使用方式 1.裁剪数据集 根据自己的需要选择 2.用couplet数据集训练模型 模型存储在model文件夹中 3.将模型转换为ONNX格式 4.打开index.html就可以在前端使用此自动对对联系统了。 本文所涉及所有资源均在传知代码平台可获取。 概述 这个生成器利用预训练的BERT模型通过微调来生成中国对联。对联是一种中文传统文化形式通常由上下联组成具有一定的韵律和意境。 演示效果 在这里可以插入动图展示您的程序运行效果 核心逻辑 在这里可以粘贴您的核心代码逻辑 # start
class CoupletDataset(Dataset):def __init__(self, data_path, tokenizer):self.data_path data_pathself.tokenizer tokenizerself.inputs, self.labels self.load_dataset() def load_dataset(self):with open(self.data_path /in_cut.txt, r, encodingutf-8) as fin, \open(self.data_path /out_cut.txt, r, encodingutf-8) as fout:inputs [line.strip() for line in fin.readlines()]labels [line.strip() for line in fout.readlines()]return inputs, labels def __len__(self):return len(self.inputs) def __getitem__(self, index):input_text self.inputs[index]label_text self.labels[index] input_tokens tokenizer.tokenize(input_text)label_tokens tokenizer.tokenize(label_text) # 拼接成BERT模型需要的输入格式input_tokens [[CLS]] input_tokens [[SEP]]label_tokens label_tokens [[SEP]] # 将token转换为对应的idinput_ids tokenizer.convert_tokens_to_ids(input_tokens)label_ids tokenizer.convert_tokens_to_ids(label_tokens) # 确保input_ids和label_ids的长度一致max_length max(len(input_ids), len(label_ids))input_ids.extend([0] * (max_length - len(input_ids)))label_ids.extend([0] * (max_length - len(label_ids))) # 将input_ids和label_ids转换为tensorinput_ids torch.tensor(input_ids).unsqueeze(0).to(device) # 增加batch维度label_ids torch.tensor(label_ids).unsqueeze(0).to(device) # 增加batch维度 return input_ids, label_ids使用方式 1.裁剪数据集 修改lines_to_read 1000 选择你想要的数据集大小这里采用了1000条对联 原始数据集有70万条对联根据需求还有电脑性能选择 根据自己的需要选择 2.用couplet数据集训练模型 在终端中输入命令 python bert.py训练模型并监控损失变化。训练完成后会生成损失图像并将模型保存在 model 文件夹中。 最终出来loss损失图像 模型存储在model文件夹中 3.将模型转换为ONNX格式 使用命令 python app.py 将存储的模型转换为ONNX格式以便在前端调用。 4.打开index.html就可以在前端使用此自动对对联系统了。 在输入框中输入上联。 感觉不错点击我立即使用
