当前位置：首页 > news >正文

Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar 笔记

news 2024/10/28 22:14:14

Code

主要思想

文章提出了一种新的神经场表示方法——Radar Fields，用于从FMCW（调频连续波）雷达数据中恢复场景几何信息。与以往的依赖于光学成像（如RGB相机和LiDAR）的神经场方法不同，该研究利用了雷达的频域特性，以解决在复杂和恶劣环境条件下的感知问题。雷达传感器由于其毫米波长特性，具有在雨雾等不良天气条件下提供可靠感知的优势。
因此，Radar Fields提出了一种在频域中操作的新方法，通过直接学习主动雷达传感器的原始波形数据，从2D雷达扫描恢复密集的3D占用信息（场景几何形状），又可以利用隐式场景从新视图中合成原始雷达数据。

本文主要任务：场景重建，数据生成

创新点

与现有的神经重建方法（如NeRF）相比，Radar Fields 具有以下几方面的创新：

频域学习：该方法跳过了体渲染步骤，直接在频率空间中学习场景几何信息，解决了雷达数据角度分辨率低、后处理点云稀疏的问题。
物理建模与神经网络的结合：引入了基于FMCW雷达信号物理特性的前向模型，以区分信号强度中的占用和反射成分，这种基于物理的表示有助于从雷达数据中提取几何信息。
新数据集引入：作者引入了一个新的汽车雷达数据集，用以训练和验证提出的方法。

研究方法

在这里插入图片描述

1 物理信号形成模型

Radar Fields基于FMCW雷达的物理特性，构建了一个信号形成模型。FMCW雷达使用锯齿调制的连续波信号，发射的频率在时间上线性变化。

调制主要分为三角波调制和锯齿波调制。锯齿波调制主要用来测量物体的距离，而三角波调制可以同时得到物体的距离和速度信息。
下面是锯齿波调制，只有向上调频：

下面是三角波调制，在一个调频周期内，先向上调频再向下调频（一个调频周期一般也叫做一个chirp）：

频率随时间线性变化的公式，发射时的信号即用这个公式计算：
$f_{\tau}(t) = \omega + \theta(t), \theta(t) = 2 \Delta f \cdot mod(\frac{t}{T_s}, 1)$

$\theta(t)$ 是调制函数，取模函数一直与1取模是保证有一个 $T_s$ 的周期。

发射信号经过物体反射回来，会有一个延时差，会产生相位偏移，对于一个单个物体，接受到的信号表示：

$f_r = \omega + \theta (t - t_d), t_d = \frac{2R}{c}$

$R$ 是发射端距离物体的距离， $c$ 是光速。

中频信号就为：
$f_{IF}(t) = f_{\tau}(t) - f_r(t) = \theta(t) - \theta(t - t_d)$

在实际情况下，会有多个被探测到的物体，所以有许多频率的叠加，之后还要进行FFT变换，产生的频域信号为：

$P_r(b) = \sum \limits_{n = 0}^{N_b - 1} IF(n) \cdot e ^{\frac{-2\pi i bn}{N_b}}, b = f_{IF_b}$

$N_b$ 是总的频率数，每个bin b对应不同的中频信号的频率

相应范围 $R_b$ 和 $b$ 的关系：
$R_b = f_{IF_b} \frac{cT_s}{4\Delta f}$

对于每个物体，由于信号的反射会引入时间延迟，这种延迟在频域上表现为一个频率差。通过计算这些频率差，可以确定物体的距离。
本文进一步通过信号的物理模型，将雷达反射的信号强度分解为占用度（Occupancy）和反射强度（Reflectance），从而实现对场景的几何信息建模。

2 隐式神经场表示

将场景的几何信息和反射特性分别用两个神经场进行表示：

占用场表示 (Occupancy Field)：用于预测某个空间位置的几何占用情况。作者通过一个多分辨率的哈希编码方案，对输入的三维坐标进行编码，然后用一个MLP（多层感知机）预测占用度。
反射场表示 (Reflectance Field)：用于预测场景的反射特性（即雷达信号的反射强度），该表示依赖于视角方向的信息，作者通过球谐函数对视角方向进行编码，并与几何信息一起输入神经网络，以预测反射率。

在这里插入图片描述

3 基于物理的重要性采样

在这里插入图片描述

由于雷达传感器的天线具有方向增益特性，因此信号在不同角度上的强度并不均匀。为了更好地模拟这一物理特性，文章引入了一种基于物理的重要性采样策略。具体来说，研究者在雷达光束的椭圆锥形区域内进行超采样，通过对每一光束中心点周围的多个角度进行采样，构建一组射线，从而捕捉雷达天线增益对测量的影响。这一策略使得预测的占用和反射场更加符合实际的雷达测量过程。

模型训练

文章设计了一个基于频域监督的训练框架。具体的损失函数包括以下几部分：

重构损失 (Reconstruction Loss)：评估重构的雷达信号与实际雷达测量信号的差异。这个损失项确保预测的频域信号与真实信号保持一致。
正则化损失 (Regularization Loss)：用于保证学习到的几何占用度具有物理意义，并减少预测过程中可能出现的噪声。
占用度正则化 (Occupancy Regularization)：通过对空闲区域的占用度施加约束，保证模型正确区分占用和非占用区域，从而减轻伪影的出现。

对比实验

文中提出的方法与基于常规雷达点云的网格映射方法[Werber et al., 2015]和LiDAR-NeRF方法[Tao et al., 2023]进行了对比实验。
实验结果表明，Radar Fields在密集场景几何重建和视角生成方面均表现出显著的优势。特别是在恶劣天气条件下（如浓雾场景），LiDAR-NeRF和传统方法的性能明显下降，而Radar Fields的表现则依然稳定。