当前位置: 首页 > news >正文

【自动驾驶】《Planning-oriented Autonomous Driving》UniAD论文阅读笔记

目录

1.参考

2.摘要

3.介绍

 4.方法

 5.实验

(1)消融实验

(2)模块性能对比

(3)模块组件的消融实验

 (4)可视化结果

6.未来可能要做的事


1.参考

论文:https://arxiv.org/pdf/2212.10156

代码:https://github.com/OpenDriveLab/UniAD

2.摘要

        原来的自动驾驶任务都是分为模块化的,感知,预测,规划等。每个独立的任务可能都优化得很好,但可能会存在累积误差或者各个独立的任务之间协调不足。

        提出一种统一的框架,uniAD,利用各个模块的优势,以全局角度为智能体交互提供互补的特征抽象。在nuScences数据集上有SOTA的表现。

3.介绍

        由多个独立的任务,到多任务学习(通过共用backbone,使用不同的head,来训练不同的任务),并将其扩展到tranformer BEV等,mobileye,tesla,nvidia均在上面做了一些个性化的产品。该方法降低车载芯片的计算代价。
        端到端的自动驾驶将所有的节点融合在一起,感知,预测,规划。
        为了实现可靠地以规划为导向的自动驾驶系统,应该如何设计有利于规划的pipeline ?
UniAD的关键组件是基于查询的设计,用于连接所有节点。
贡献:
(1)基于规划导向的理念
(2)提出UniAD,一种端到端的自动驾驶系统
(3)在现实场景的benchmark上测试,具有SOTA的性能。

 4.方法

        UniAD包括四个基于编码器的transformer,TrackFormer,MapFormer,MotionFormer,OccFormer,Planner。


(1)TrackFormer联合检测和跟踪。检测到新帧目标到跟踪会生成新目标,下一帧查询上一帧交互在self-attention 模块中聚合时态信息,直至该智能体agent消失,将自车也作为一个智能体引入。其中该智能体传给MotionFormer。
(2)MapFormer二维全景分割,作为地图信息来查询,含车道线分隔线,交叉路口
(3)MotionFormer捕获三种交互,agent-agent,agent-map,agent-goal point。轨迹预测。
(4)OccFormer实例级别的占用。
(5)Planning,没有HD和道路信息,将原始导航信号(左转、右转、直行)转换为三个可学习的embedding。通过MotionFormer可以查询自车周边的多模态意图(其他agent)、OccFormer查询周围环境,解码为周围路点。避免碰撞优化下面的代价函数。

训练:是一个两阶段的训练任务,先训练感知。然后再训练端到端的任务20epoch。

 5.实验

实验在Nuscences数据集上进行的。

(1)消融实验

UniAD方法比ID-0这种通过多个检测头的多任务学习性能更好。

(2)模块性能对比

(3)模块组件的消融实验

 (4)可视化结果

6.未来可能要做的事

(1)如何为轻量级部署设计和管理系统值得未来探索。

(2)是否将更多的任务(如深度估计、行为预测)以及如何将其嵌入系统中,也是值得未来研究的方向。


http://www.mrgr.cn/news/45145.html

相关文章:

  • AI绘图创造无限可能,以参考图片为灵感生成图片
  • scrapy 爬取微博(六)【最新超详细解析】:情感分析+保存数据库
  • BeeS CMS 靶场漏洞攻略
  • 33 基于单片机的智能窗帘控制系统
  • 华为OD七日集训第4期 - 按算法分类,由易到难,循序渐进,玩转OD
  • 【大数据应用开发】2023年全国职业院校技能大赛赛题第04套
  • 基于java SpringBoot和Vue校园求职招聘系统设计
  • PHP 表单基础
  • 【人工智能】Transformers之Pipeline(一):音频分类(audio-classification)
  • 如何从数码相机中恢复已删除的照片
  • 机器学习:开启智能时代的钥匙
  • Python网络爬虫从入门到实战
  • Linux 命令 netstat 的 10 个基本用法
  • 机房空调远程控制-Thingsboard MQTT 接口说明
  • 车载音频焦点(二)
  • C++11标准模板(STL)- 常用数学函数 - 计算反正切,以符号确定象限(std::atan2, std::atan2f, std::atan2l)
  • 招联金融2025秋招内推
  • 华为OD机试 - 优雅子数组 - 暴力枚举(Python/JS/C/C++ 2024 E卷 100分)
  • 六、索引的数据结构
  • 云计算Openstack Horizon