paddleocr使用FastDeploy 部署工具部署 rknn 模型

在 PC 端转换 pdmodel 模型为 rknn 模型和在板端使用百度飞浆开发的 FastDeploy 部署工具部署 rknn 模型

以下内容是在 PC 端系统为 Ubuntu20.04，板端系统为ubuntu20.04 的环境下实现的

描述：

        官网地址

RKNN软件栈可以帮助用户快速将AI模型部署到Rockchip芯片中，整体框架如下：

使用RKNPU，用户需要先在电脑上运行RKNN-Toolkit2工具，将训练好的模型转化为RKNN格式模型，然后在开发板上使用RKNN C API或者Python API进行推理。

• RKNN-Toolkit2是一套软件开发套件，供用户在PC和Rockchip NPU平台上进行模型转换、推理和性能评估。

• RKNN-Toolkit-Lite2为Rockchip NPU平台提供Python编程接口，帮助用户部署RKNN模型，加速AI应用的落地。

• RKNN Runtime 为 Rockchip NPU 平台提供 C/C++ 编程接口，帮助用户部署 RKNN 模型，加速 AI 应用的落地。

• RKNPU内核驱动负责和NPU硬件交互，已经开源，可以在Rockchip内核代码中找到。

• RK3588系列
• RK3576系列
• RK3566/RK3568系列
• RK3562系列
• RV1103/RV1106
• RV1103B/RV1106B
• RK2118

• RKNN-Toolkit2 与RKNN-Toolkit不兼容
• 支持的 Python 版本包括：
  • Python 3.6
  • Python 3.7
  • Python 3.8
  • Python 3.9
  • Python 3.10
  • Python 3.11
  • Python 3.12
• 最新版本：v2.2.0

3.38.1. Ubuntu PC 端环境搭建

Ubuntu PC 端需要安装的工具及用途：

3.38.1.1.PC 端安装 Anaconda3（这个简单不在介绍）

3.38.1.2.PC 端安装 RKNN-Toolkit2

1、创建一个环境：

conda create -n fastdeploy python=3.8

conda activate fastdeploy

2、安装 pip3 开发工具和包管理工具

sudo apt-get install python3-dev python3-pip

安装 RKNN-Toolkit2 的依赖包

sudo apt-get install libxslt1-dev zlib1g-dev libglib2.0 libs
m6 libgl1-mesa-glx libprotobuf-dev gcc

rknn_toolkit2 对 numpy 存在特定依赖

pip install numpy==1.19.0 --only-binary=:all: -i https://pypi.tuna.tsinghua.edu.cn/simple

安装 git 工具

sudo apt install git

git clone https://github.com/rockchip-linux/rknn-toolkit2

安装 python3.8 版本对应的 RKNN-Toolkit2

pip install rknn-toolkit2/rknn-toolkit2/packages/rknn_tool
kit2-1.6.0+81f21f4d-cp38-cp38-linux_x86_64.whl

• RKNN-Toolkit2 与RKNN-Toolkit不兼容
• 目前仅支持：
  • Ubuntu 18.04 Python 3.6/3.7
  • Ubuntu 20.04 Python 3.8/3.9
  • Ubuntu 22.04 Python 3.10/3.11

3.38.1.3.PC 端安装 Paddle2ONNX

pip install paddle2onnx -i https://pypi.tuna.tsinghua.edu.cn/simple

 

3.38.2. 板端环境搭建

板端需要安装的工具及用途

3.38.2.1.板端安装 Anaconda3

1、在板端打开浏览器，在地址栏输入下面的网址下载安装 Anaconda3 的脚本

https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.07-1-Linux-x86_64.sh

2、运行 Anaconda3-2023.07-1-Linux-aarch64.sh 脚本安装 Anaconda3

sh Anaconda3-2023.07-1-Linux-aarch64.sh

完成安装

3、如果在终端使用 conda 命令，显示命令不存在，需要修改~/.bashrc 文件

sudo apt-get update
sudo apt-get install gedit

gedit ~/.bashrc

在~/.bashrc 文件末尾加上

export PATH=/home/orangepi/anaconda3/bin:$PATH

修改生效：

source ~/.bashrc

conda的初始化：

conda init bash

关闭当前终端，重新打开一个终端，完成！！！