paddleocr使用FastDeploy 部署工具部署 rknn 模型
在 PC 端转换 pdmodel 模型为 rknn 模型和在板端使用百度飞浆开发的 FastDeploy 部署工具部署 rknn 模型
以下内容是在 PC 端系统为 Ubuntu20.04,板端系统为ubuntu20.04 的环境下实现的
描述:
官网地址
RKNN软件栈可以帮助用户快速将AI模型部署到Rockchip芯片中,整体框架如下:
使用RKNPU,用户需要先在电脑上运行RKNN-Toolkit2工具,将训练好的模型转化为RKNN格式模型,然后在开发板上使用RKNN C API或者Python API进行推理。
-
RKNN-Toolkit2是一套软件开发套件,供用户在PC和Rockchip NPU平台上进行模型转换、推理和性能评估。
-
RKNN-Toolkit-Lite2为Rockchip NPU平台提供Python编程接口,帮助用户部署RKNN模型,加速AI应用的落地。
-
RKNN Runtime 为 Rockchip NPU 平台提供 C/C++ 编程接口,帮助用户部署 RKNN 模型,加速 AI 应用的落地。
-
RKNPU内核驱动负责和NPU硬件交互,已经开源,可以在Rockchip内核代码中找到。
支持平台
- RK3588系列
- RK3576系列
- RK3566/RK3568系列
- RK3562系列
- RV1103/RV1106
- RV1103B/RV1106B
- RK2118
笔记
- RKNN-Toolkit2 与RKNN-Toolkit不兼容
- 支持的 Python 版本包括:
- Python 3.6
- Python 3.7
- Python 3.8
- Python 3.9
- Python 3.10
- Python 3.11
- Python 3.12
- 最新版本:v2.2.0
3.38.1. Ubuntu PC 端环境搭建
Ubuntu PC 端需要安装的工具及用途:
3.38.1.1.PC 端安装 Anaconda3(这个简单不在介绍)
3.38.1.2.PC 端安装 RKNN-Toolkit2
1、创建一个环境:
conda create -n fastdeploy python=3.8
conda activate fastdeploy
2、安装 pip3 开发工具和包管理工具
sudo apt-get install python3-dev python3-pip
安装 RKNN-Toolkit2 的依赖包
sudo apt-get install libxslt1-dev zlib1g-dev libglib2.0 libs
m6 libgl1-mesa-glx libprotobuf-dev gcc
rknn_toolkit2 对 numpy 存在特定依赖
pip install numpy==1.19.0 --only-binary=:all: -i https://pypi.tuna.tsinghua.edu.cn/simple
安装 git 工具
sudo apt install git
git clone https://github.com/rockchip-linux/rknn-toolkit2
安装 python3.8 版本对应的 RKNN-Toolkit2
pip install rknn-toolkit2/rknn-toolkit2/packages/rknn_tool
kit2-1.6.0+81f21f4d-cp38-cp38-linux_x86_64.whl
- RKNN-Toolkit2 与RKNN-Toolkit不兼容
- 目前仅支持:
- Ubuntu 18.04 Python 3.6/3.7
- Ubuntu 20.04 Python 3.8/3.9
- Ubuntu 22.04 Python 3.10/3.11
3.38.1.3.PC 端安装 Paddle2ONNX
pip install paddle2onnx -i https://pypi.tuna.tsinghua.edu.cn/simple
3.38.2. 板端环境搭建
板端需要安装的工具及用途
3.38.2.1.板端安装 Anaconda3
1、在板端打开浏览器,在地址栏输入下面的网址下载安装 Anaconda3 的脚本
https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.07-1-Linux-x86_64.sh
2、运行 Anaconda3-2023.07-1-Linux-aarch64.sh 脚本安装 Anaconda3
sh Anaconda3-2023.07-1-Linux-aarch64.sh
完成安装
3、如果在终端使用 conda 命令,显示命令不存在,需要修改~/.bashrc 文件
sudo apt-get update
sudo apt-get install gedit
gedit ~/.bashrc
在~/.bashrc 文件末尾加上
export PATH=/home/orangepi/anaconda3/bin:$PATH
修改生效:
source ~/.bashrc
conda的初始化:
conda init bash
关闭当前终端,重新打开一个终端,完成!!!