中小企业网站制作公司,郑州最近新闻事件,专门做餐饮空间设计的网站,制作好看的wordpress页面文章目录工程目标芯片参数查阅官方文档基本流程Python 版工具链安装RKNPU2的编译以及使用方法移植自己训练的模型工程目标
将自己训练的目标检测模型【YOLO-V5s】移植到瑞芯微【3566】芯片平台#xff0c;使用NPU推理#xff0c;最终得到正确的结果。整个过程涉及模型量化、…
文章目录工程目标芯片参数查阅官方文档基本流程Python 版工具链安装RKNPU2的编译以及使用方法移植自己训练的模型工程目标
将自己训练的目标检测模型【YOLO-V5s】移植到瑞芯微【3566】芯片平台使用NPU推理最终得到正确的结果。整个过程涉及模型量化、转换C部署。
芯片参数
芯片参数介绍https://www.rock-chips.com/a/cn/product/RK35xilie/2021/0113/1273.html CPU四核1.8GHZ. NPU1TOPsInt8每秒一万亿次运算。
查阅官方文档
通常每一款芯片都有其对应的使用文档和工具链以此作为开发的参考。通过官方文档可以确认开发环境Ubuntu, python版本等工具链版本不同深度学习框架的Demo以及一些特别的注意事项等。 python 版本工具链 rknn-toolkit2https://github.com/rockchip-linux/rknn-toolkit2. C 版本工具链 rknpu2https://github.com/rockchip-linux/rknpu2用于编译在RK板子上推理的工具链。 基本流程 部署流程 安装 Python 版本的工具链RKNN-ToolKit2可以在PC端将.onnx.pt.ckpt导出为.rknn模型。该步骤可以验证自己训练的模型是否可以成功导出卷积算子是否支持预测效果是否可用量化效果等功能。PC 端配置 C 版本工具链RKNPU2编译自己的 C 推理工程编译得到的可执行文件可以在RK芯片运行。将得到RKNN模型和可执行文件以及RK一些必要的依赖库(.so)放入芯片上可以直接运行。 Python 版工具链安装
下图是Python版本工具链目录结构在【DOC】目录中提供了英文版和中文版的使用文档。 初次使用该工具链的时候仔细阅读如下文档 “Rockchip_Quick_Start_RKNN_SDK_V1.4.0_CN.pdf”该文档主要介绍了安装教程运行demo以及一些基本的硬件参数内容相对较少配置环境运行demo建议阅读此文档。“Rockchip_User_Guide_RKNN_Toolkit2_CN-1.4.0.pdf”详细介绍了API接口得使用规则以及其它相关内容具体API的使用可以参考此文档。 本教程使用【pip】的方式安装docker也是官方建议的安装方式看自己对哪种方式更为熟悉。结合文档的流程具体操作过程如下 创建虚拟环境 conda create -n rknn2 python3.6 conda activate rknn2安装依赖库 进入工程的根目录 安装必要相应版本的依赖包 pip install -r doc/requirements_cp36-1.4.0.txt 下图是官方给的问题解决办法 值得注意在配置软件包的过程中遇到“匹配不到XX版本”的问题按照上述方式并不能解决。 解决办法首先安装Numpypip install numpy1.19.5然后执行上述命令pip install -r doc/requirements_cp36-1.x.x.txt. 可能还有其它的错误要根据错误提示具体问题具体分析。安装RKNN软件包 python pip install packages/rknn_toolkit2-1.4.0_22dcfef4-cp36-cp36m-linux_x86_64.whl 检查RKNN-Toolkit2是否安装成功 如下图所示没有出错则表示安装成功 测试官方 YOLO-V5 Demo 运行目录下的【test.py】 python test.py 如下图所示运行平台是PC(linux)模拟器转换得到【yolov5s.rknn】模型。 RKNPU2的编译以及使用方法
主要介绍板子上为Linux系统64位的编译以及使用具体流程如下 下载编译工具链Arm版 由于板子上是Linux系统所以下载gcc编译器下图是【官方推荐】的gcc版本以及下载链接 遇到问题上述GCC的下载链接不存在也没有找到gcc-9.3版本的下载链接。后来又找到gcc-9.3没有测试是否可用https://gitlab.com/firefly-linux/prebuilts/gcc/linux-x86/aarch64/gcc-buildroot-9.3.0-2020.03-x86_64_aarch64-rockchip-linux-gnu. 解决办法下载其它版本的交叉编译器【gcc-6.3】下载链接如下 http://releases.linaro.org/components/toolchain/binaries/6.3-2017.05/aarch64-linux-gnu/参考博客为https://blog.csdn.net/song_lee/article/details/105487177。下载部署源码 下载地址https://github.com/rockchip-linux/rknpu2.编译官方 YOLOV5 Demo Git官方上的方法如下https://github.com/rockchip-linux/rknpu2/tree/master/examples/rknn_yolov5_demo 仿照上述方式针对自己下载的版本终端命令如下 export TOOL_CHAIN/opt/gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu/ ./build-linux_RK356X.sh 按照上述方法仍并无法编译成功报错如下图所示找不到如下可执行文件 “aarch64-linux-gnu-gcc” 为此修改【build-linux_RK356X.sh】脚本将编译器所在目录写完整具体修改如下图所示 至此可以成功编译YOLO-V5的例子会在当前路径下生成【install】目录目录中包含了扫地机上运行所需要的库模型可以通过rknn-toolkit2转换得到测试图片可执行程序目录展开如下 板子上运行使用adb 下图是Git上给的方式将adb线插到扫地机进行扫地机和PC端进行数据传输 Xshell 连接板子运行程序即可。 移植自己训练的模型
移植自己训练的YOLOV5s由于应用任务场景的不同输出与官方YOLOV5的输出略有差异。与官方的Demo相比需要修改一些输出的尺寸。具体流程如下 导出RKNN模型 注意修改网络的输出大小官方的模型yolov5s 输出的形状如下 output[0].shape(1, 255, 80, 80) 自训练的模型输出为(1, 3, 80, 80,21) output[0].shape(1, 255, 40, 40) 自训练的模型输出为(1, 3, 40, 40,21) output[0].shape(1, 255, 20, 20) 自训练的模型输出为(1, 3, 20, 20,21) 为了适配官方提供的后处理可以导出中间层的模型。用软件【Netron】打开自训练的模型获得指定输出层的编号如下图所示得到输出为 (1, 63, 40, 40) 根据上述的网络节点的编号代码需要修改的位置如下图所示这样导出的模型可以完全与官方的后处理代码兼容。 编译RK板子的运行程序 参考上面的流程修改相应的输出直接编译即可。板子上运行 参考上面的流程运行即可。
