苏格网站建设,网站建设便宜的公司,店标logo图片免费制作,ipv6网站如何做语义分割模型在训练时往往采用python脚本进行网络搭建和训练#xff0c;并获得训练好的模型。为了提高效率方便整个工程项目部署#xff0c;实际工程应用中通常希望使用C编程语言调用训练好的网络模型。查询大量网络资料并踩过无数坑后#xff0c;经实际测试实现了在window1… 语义分割模型在训练时往往采用python脚本进行网络搭建和训练并获得训练好的模型。为了提高效率方便整个工程项目部署实际工程应用中通常希望使用C编程语言调用训练好的网络模型。查询大量网络资料并踩过无数坑后经实际测试实现了在window11环境下调用pytorch语义分割模型具体实现步骤记录如下。
一、系统环境参数
电脑系统window11 VS版本2019 pytorch版本2.1 CUDA版本:cuda11 python版本:3.9.17
二、pytorch模型转换
在C环境下调用pytorch网络模型首先需要将其转换为能够识别和调用的网络模型.pt格式。新建python脚本实现模型转换。实现代码如下
import torch
import torchvisiondevice torch.device(cuda) if torch.cuda.is_available() else torch.device(cpu)filenameCheckpoint ../checkpoints/checkpoint_end.pth.tarcheckpoint torch.load(filenameCheckpoint)model checkpoint[arg]model.load_state_dict(checkpoint[state_dict])
model.cuda(device)input_img_rand torch.rand(1, 3, 608, 608).cuda()
traced_script_module torch.jit.trace(model, input_img_rand)
traced_script_module.save(forign_detect_model-gpu.pt)model.cpu()
input_img_rand_cpu torch.rand(1, 3, 608, 608)
traced_script_module torch.jit.trace(model, input_img_rand_cpu)
traced_script_module.save(forign_detect_model-cpu.pt)三、libtorch库下载
这个库是实现模型调用的关键进入pytorch官网即可下载下载时参数选择如下图本文下载的是release版本下载链接如下libtorch。下载完成后解压到固定目录即可。 四、VS2019环境配置
打开vs2019创建空项目新建main.cpp。注意切换选择为x64模式。打开项目属性页进行环境配置。属性页中C/C-常规-附件包含目录。添加头文件路径根据libtorch实际的路径修改如下图所示。后期会使用到opencv,需要进行 opencv环境配置然后配置 链接器-常规-附加库目录配置如下图 继续配置依赖项链接器-输入-附加依赖项。如下图所示 为方便输入依赖项如下
asmjit.lib
c10.lib
c10_cuda.lib
caffe2_nvrtc.lib
clog.lib
cpuinfo.lib
dnnl.lib
fbgemm.lib
fbjni.lib
kineto.lib
libprotobuf.lib
libprotobuf-lite.lib
libprotoc.lib
nvfuser_codegen.lib
pthreadpool.lib
pytorch_jni.lib
torch.lib
torch_cpu.lib
torch_cuda.lib
XNNPACK.lib
opencv_world346.lib根据OpenCV版本进行修改
最后是调试的环境配置如下图所示 配置如下PATHD:\CODES\forign_detectC\libtorch\lib;E:\opencv\build\x64\vc15\bin需要根据实际库的安装路径修改。
值得注意的是由于我的pytorch版本较高为2.1需要使用c17才能编译成功。因此需要配置C17,如下图所示。 至此环境配置环境接下来开始模型调用实现。 五、pytorch模型调用
main.cpp中完整调用代码如下输入一张测试图调用语义分割模型最后获得语义分割图像。
#include torch/script.h
#include opencv2/opencv.hpp
#include iostream
#include torch/torch.hint main()
{torch::DeviceType device_type;if (torch::cuda::is_available()) {std::cout CUDA available! Predicting on GPU. std::endl;device_type torch::kCUDA;}else {std::cout Predicting on CPU. std::endl;device_type torch::kCPU;}torch::Device device(device_type);//模型加载std::string model_pb D:\\CODES\\forign_detectC\\testPro\\forign_detect_model-gpu.pt;auto module torch::jit::load(model_pb);module.to(at::kCUDA);
//测试图像加载auto image cv::imread(testimg.png, cv::ImreadModes::IMREAD_COLOR);cv::Mat image_transfomed;cv::resize(image, image_transfomed, cv::Size(image.rows, image.cols));cv::cvtColor(image_transfomed, image_transfomed, cv::COLOR_BGR2RGB);//转为适合训练的张量维度torch::Tensor tensor_image torch::from_blob(image_transfomed.data,{ image_transfomed.rows, image_transfomed.cols,3 }, torch::kByte);tensor_image tensor_image.permute({ 2,0,1 });tensor_image tensor_image.toType(torch::kFloat);tensor_image tensor_image.div(255);tensor_image tensor_image.unsqueeze(0);tensor_image tensor_image.to(at::kCUDA);torch::Tensor output module.forward({ tensor_image }).toTensor();
//获取预测结果torch::Tensor pred_out output[0];//std::tupletorch::Tensor, torch::Tensor img_reverse_one_hot torch::max(pred_out, 0);//类别的最大值torch::Tensor img_max_value std::get0(img_reverse_one_hot);
//类别最大值索引torch::Tensor img_max_index std::get1(img_reverse_one_hot);img_max_index img_max_index.to(torch::kU8);img_max_index img_max_index.to(torch::kCPU);//tensor 转cv::Matcv::Mat img_max_index_mat(image_transfomed.rows, image_transfomed.cols, CV_8U);std::memcpy((void*)img_max_index_mat.data, img_max_index.data_ptr(), sizeof(torch::kU8) * img_max_index.numel());//给预测结果赋值颜色cv::Mat coloredImg(image_transfomed.rows, image_transfomed.cols, CV_8UC3);const cv::Vec3b colorMap[] {cv::Vec3b(0,0,0),cv::Vec3b(255,0,0)};for (int x 0; x coloredImg.rows; x){for (int y 0; y coloredImg.cols; y){int label img_max_index_mat.atuchar(x, y);coloredImg.atcv::Vec3b(x, y) colorMap[label];}}
//转BGRcv::cvtColor(coloredImg, coloredImg, cv::COLOR_RGB2BGR);
//与原图合并cv::bitwise_or(image, coloredImg, coloredImg);cv::imwrite(output.png, coloredImg);return 0;
} 六、调试过程中遇到的坑
1.vs版本问题之前使用vs2017编译一直有问题即便主函数什么都没有仅包含头文件也会报错折腾好几天换成vs2019就没问题。
2.libtorch的版本问题由于我当时下载的是release版本但vs里面却设置了debug版本导致程序一运行就会出现debug error abort has been called。因此需要注意libtorch的版本和vs运行时的模式保持一致。同样注意vs里设置x64模式。 3.c17问题pytorh2.1必须使用c17才能顺利编译否则会报C无法编译pytorch的问题因此需要在vs中的“语言”模块中配置c17。
