Ardupilot开源无人机之Geek SDK进展2024

1. 源由

前期搭建《Ardupilot开源无人机之Geek SDK》，主要目的是：

1. 基于：《ArduPilot开源飞控系统 - 无人车、船、飞机等》
2. 验证：《Ardupilot & OpenIPC & 基于WFB-NG构架分析和数据链路思考》可行性
3. 框架：打通硬实时、软实时的控制面和数据面链路,提供一个简单、多样、高效的验证平台 jetson-fpv

2. 状态

• 简单示例

• 框架成型：jetson-fpv

• 支持特性：

  • FPV features （FPV功能）

    • MSPOSD for ground station （OSD）
    • video-viewer （视频图像，可以达到120FPS）
    • Adaptive wireless link （链路自适应）

  • Jetson video analysis （Jetson推理功能）

    • detectnet for object detection
    • segnet for segmentation
    • posenet for pose estimation
    • imagenet for image recognition

  • yolo for object detection （YOLO目标检测）

  • Real time video stabilizer

  • DeepStream analysis （DeepStream目标跟踪分析）

    • ByteTrack
    • NvDCF tracker

• 硬件形态
  

3. TODO

优先级：
3.2 onnxruntime版本 > 3.1 跟踪目标框 > 3.5 Inference性能 > 3.6 特定目标集Training > 3.3 CUDA 11.8版本 > 3.4 pytorch v2.5.1版本

3.1 跟踪目标框

• DeepStream-Yolo - How to keep the bounding boxes when interval is NOT zero? #604
• NVIDIA - How to keep the bounding boxes when interval is NOT zero?

3.2 onnxruntime版本

• Yolov8s no bounding box on default settings #597
• NVIDIA - Build onnxruntime v1.19.2 for Jetpack 5.1.4 L4T 35.6 Faild
• microsoft/onnxruntime - Build onnxruntime v1.19.2 for Jetpack 5.1.4 L4T 35.6 Faild #23267
• [Build] Trying to build on a embedded device that doesn’t support BFLOAT16 #19920
• mlas: fix build on ARM64 #21099
• arm64: force -mcpu to be valid #21117
• [Build] v1.19.2 abseil_cpp failed: 2 with JP5.1.4 gcc/g++13 #23286

3.3 CUDA 11.8版本

• How to install CUDA 11.8 on Jetpack 5.1.4 L4T 35.6?
• Linux 35.5 + JetPack v5.1.3@CUDA安装和版本切换

3.4 pytorch v2.5.1版本

• pytorch v2.5.1 build for nvidia jetson orin nano 8GB #143624
• Linux 35.6 + JetPack v5.1.4之 pytorch编译
• Linux 35.6 + JetPack v5.1.4之 pytorch升级

3.5 Inference性能

• DeepStream-Yolo - Anyway to boost yolo performance on Jetson Orin? #605
• NVIDIA - Anyway to boost yolo performance on Jetson Orin?

A: DeepStream-Yolo - INT8 calibration (PTQ)
B: NVIDIA - NvDCF tracker plugin

3.6 特定目标集Training

TBD.

4. 参考资料

【1】Ardupilot & OpenIPC & 基于WFB-NG构架分析和数据链路思考
【2】ArduPilot开源飞控之MAVProxy深入研读系列 - 2蜂群链路
【3】Ardupilot开源飞控之FollowMe计划
【4】Ardupilot开源飞控之FollowMe验证平台搭建
【5】Ardupilot开源无人机之Geek SDK讨论
【6】OpenIPC开源FPV之工程框架
【7】OpenIPC开源FPV之重要源码启动配置
【8】wfb-ng 开源代码之Jetson Orin安装
【9】wfb-ng 开源代码之Jetson Orin问题定位
【10】Linux 35.5 + JetPack v5.1.3@CUDA安装和版本切换
【11】Linux 35.6 + JetPack v5.1.4@yolo安装
【12】Linux 35.6 + JetPack v5.1.4@python opencv安装
【13】Linux 35.6 + JetPack v5.1.4@DeepStream安装
【14】Linux 35.6 + JetPack v5.1.4之RTP实时视频Python框架
【15】Linux 35.6 + JetPack v5.1.4之 pytorch编译
【16】Linux 35.6 + JetPack v5.1.4之 pytorch升级
【17】OpenIPC开源FPV之Adaptive-Link工程解析
【18】NVIDIA DeepStream插件之Gst-nvtracker