大语言模型在端到端智驾中的应用

大语言模型在端到端智驾中的应用

双系统端到端

小鹏：AI天玑系统—神经网络XNet+规控大模型XPlanner+大语言模型XBrain
商汤绝影：DriveAGI
理想：端到端+VLM

VLA端到端

Waymo：EMMA
OPENEMMA
Wayve：LINGO-2

Awesome-VLM-AD-ITS Public
万字总结 - 2023大模型与自动驾驶论文走马观花

待看论文

VLM-AD：通过视觉语言模型监督实现端到端自动驾驶
WiseAD：基于视觉-语言模型的知识增强型端到端自动驾驶
Senna：连接大型视觉-语言模型和端到端自动驾驶
DriveGenVLM：基于视觉-语言模型的自动驾驶真实世界视频生成
攻克复杂驾驶场景！
SimpleLLM4AD：用于自动驾驶的端到端视觉语言模型
DriveMLM [42] 结合额外的激光雷达数据，并提出一种基于 LLaMA [40] 的多模态模型来提供高级驾驶决策
RAG-Driver [44] 并未提供端到端解决方案，而是使用 VLM 进行知识检索和增强的可泛化驾驶解释
VLP [40] 将真实轨迹和边界框标签转换为文本特征用于对比学习，但它并没有引入现有监督标签之外的信息