网站建设企业公司,泰安房产交易网官网,广西电网公司建设年鉴,wordpress 设置邮件使用Tensorrt的一般步骤
TensorRT的使用包括两个阶段#xff1a;build and deployment。 build#xff1a;该阶段主要完成模型转换#xff08;从caffe或TensorFlow到TensorRT#xff09;#xff0c;如下图所示#xff0c;在模型转换时会完成前述优化过程中的层间融合build and deployment。 build该阶段主要完成模型转换从caffe或TensorFlow到TensorRT如下图所示在模型转换时会完成前述优化过程中的层间融合精度校准。这一步的输出是一个针对特定GPU平台和网络模型的优化过的TensorRT模型这个TensorRT模型可以序列化存储到磁盘或内存中。存储到磁盘中的文件称之为 planfile。 Deploy该阶段主要完成推理过程如下图所示。将上一个步骤中的plan文件首先反序列化并创建一个 runtime engine然后就可以输入数据比如测试集或数据集之外的图片然后输出分类向量结果或检测结果。 以onnx模型为例检测介绍主要分为3步如下图所示第一步是导入模型这包括从磁盘上保存的文件加载模型并将其从原始框架转换为TensorRT网络。ONNX是表示深度学习模型的标准使它们能够在框架之间传输Caffe2、Chainer、CNTK、paddle、PyTorch和MXNet都支持ONNX格式。接下来基于输入模型、目标GPU平台和指定的其他配置参数构建一个优化的TensorRT引擎。最后一步是向TensorRT引擎提供输入数据以执行推理。 需要用的tensorrt的组件如下
ONNX解析器以ONNX格式的经过训练的模型作为输入并用TensorRT填充网络对象Builder在TensorRT中获取一个网络并生成一个为目标平台优化的引擎Engine获取输入数据执行推理并发出推理输出Logger与生成器和引擎关联的对象用于在生成和推断阶段捕获错误、警告和其他信息
大家可以根据以下coding的例子进行相关实验 git clone https://github.com/parallel-forall/code-samples.gitcd code-samples/posts/TensorRT-introductionwget https://s3.amazonaws.com/onnx-model-zoo/resnet/resnet50v2/resnet50v2.tar.gz // Get ONNX model and test datatar xvf resnet50v2.tar.gz # unpack model data into resnet50v2 folderapt-get updateapt install libprotobuf-dev protobuf-compiler # install protobuf to read the input data which is in .pb formatgit clone --recursive https://github.com/onnx/onnx.git # pull onnx repository from githubcd onnxcmake . # compile and install onnxmake install -j12cd ..make # compile the TensorRT C sample code
