新闻资讯

    前情回顾

    在之前,我已经有介绍过毫米雷达在2D视觉任务上的一些经典网络[自动驾驶中雷达与相机融合的目标检测工作(多模态目标检测)整理 - Naca yu的文章 - 知乎],总结概括而言,其本质上都是对视觉任务的一种提升和辅助,主要的工作在于如何较好地在FOV视角中融合两种模态,其中不乏有\add\两个模态的特征,或者使用radar对视觉局部特征增强,其中比较知名的工作经常用来作为,其并没有对毫米波这个模态做特殊的处理,仅是作为视觉特征的补充融入到传统的2D检测中,但是其消融实验提出了许多值的考虑的优化方向:包括噪声滤除、这两个,一个代表了对于毫米波这类有较多噪声的数据进行“理想化”的噪声过滤,结果提升了接近10个点。二是通过对于弱模态-毫米波点云加大学习权重(通过对训练时图像的缺失)来提高网络对于高噪声弱模态的拟合能力也能提点。

    在近些年,2D检测任务在AL的热度递减,取而代之的是3D任务,毕竟现在的实际场景一直多是基于3D场景。但是在3D检测或者分割等任务中,雷达赋予了一个不一样的角色,在之前FOV视角中,毫米波点云大多为了与FOV特征融合,都是通过投影这一种方法,而放到3D场景中,自然就有LIdar的相关角色赋予毫米波雷达,相应的,毫米波的角色从FOV到了BEV,它的下游任务,也从辅助为主到BEV下的分割、深度估计、生成密集点云等。

    这也是我这篇文章的重点,文章的主要工作放在毫米波角色的转换中,从3D检测、深度估计、GAN(非重点),分割(非重点)几个方面列举我看到的一些工作并做简单介绍和总结,同时对毫米波算法的发展提出自己的一些拙见,由于个人能力有限,无法通过一篇文章就把radar的脉络梳理出来,所以后面还会继续以各个子章节细化,组成系列文章。

    介绍的工作都比较冷门,很少有源码开放,因此对一些细节分析可能并不到位,欢迎大家在评论区讨论,提出自己的宝贵意见图像设置特征点的选取,指正我的一些偏见。

    一、3D 1.1 GCN:图卷积用于毫米波目标检测 1.1.1 GCN用于毫米波点云

    Radar-: Graph Based for Radar Point-cloud Data(2021 IEEE Radar )

    之前我发过一篇文章:用于毫米波雷达的GNN:Radar-: Graph Based for Radar Point-cloud Data - Naca yu的文章 - 知乎

    1.1.2 GCN用于原始毫米波信号

    Graph for 3D on Radar Data (2021 ICCVW)

    建议在阅读这篇工作前,先阅读一篇关于雷达数据处理的文章以了解RD和的区别:

    毫米波雷达:信号处理 - 巫婆塔里的工程师的文章 - 知乎

    :作者借鉴GCN,基于毫米波原始数据Range-beam- 进行3D目标检测,相比作者自设定的(grid-based- 也就是voxel这类方法)提升约10%,同时作者在真实环境下验证模型效果,相比于其他模态,作者提出的网络检测距离能够达到20m-100m,大幅度提升检测范围。 网络结构:

    这项工作的输入数据,并不是常见的雷达点云形式,这类点云是经过CFAR等算法处理后的结果,这类算法处理后的结果会导致原始信息丢失的问题(部分工作将CFAR更换为DL模型后能够有效降低点云噪声),近期的一些工作例如CRUW数据集,提供点云的上层数据-Range-数据,这类数据能够以较小损失的条件下保留较多的原始信息,但是,相对点云原始数据无法直接将数据用于检测等现有任务并且数据的直观性和结构化降低。在GCN中,RD不能够直接用于构建Graph,作者将其处理为range-beam-坐标系下的voxel用于构建节点,edge则采用两种方案:根据节点的距离确定和固定权重。 重要部分:

    (1) 极坐标和笛卡尔坐标系

    这里简单聊一下毫米波数据的转换过程,具体可以参考:毫米波雷达:信号处理,如上图所示,从左到右经过三次FFT变换,从原始的传感器采集到的MNK维度的IF信号到最后的RD数据,就是我们所需要的原始雷达数据,对RD数据进一步处理,得到点云数据信息,我们需要的是上图中最后一个数据的形式。

    (2)图的构建

    首先,Radar--作为输入数据(HWC),然后将输入切分成range-beam为单位的cell作为基本单元,每个cell(256 )作为node ,这样就完成了节点的原始特征定义。对于edge的定义如下(图的边则连接相邻range或者相邻angle的节点,边的权重与欧式空间中节点距离成反比(实验证明这个权重的设置并不重要):

    4. 实验:

    如下,作者采集自真实场景的数据集各项参数:

    如下,数据集中对于目标检测难度的定义:从距离和遮挡程度两者考虑

    作者提出的(RT-Net):将上述的两层图卷积网络替换为普通的2D卷积,激活函数等设置相同,作者模拟的是不同grid-based-(voxel)和graph-based-两者的异同。

    总结

    GCN和Voxel两类网络对比:在复杂度方面,graph-based的计算复杂度与点云数量呈线性相关性,而grid-based方法检测性能不仅受到grid大小,大量的voxel等于0值造成计算资源浪费,并且也受到检测距离的关系而需要在检测精度和效率之间做trade-off。在中心特征计算方面,radar 的点云过于稀疏,许多前景目标仅投影个位数的点云,通过voxel等方法会造成过度降采样和中心特征丢失。当前各类榜单上grid-based方法能够有效避免point数量过大导致的复杂度过高的问题而成为主流超越point-wise的方法,但是由于radar的稀疏性(中radar和lidar大概是50:1的关系),采用point-wise的方法并不会导致很大的延迟。

    Radar检测优劣:优势:另一方面,radar由于其长波优势,探测的距离也较大,对于高速公路这类检测目标单一且方向等属性较为单一的场景下,radar有着较大的优势。劣势:由于两个工作并不是同一数据集,所以两者无法横向对比,能够得到的几点是:毫米波所包含的信息是能够独立地进行3D检测,但是仅对于车辆(卡车、汽车、建造车辆等)大型反射性良好的目标进行检测,而对于弱反射的交通目标则检测效果较差。

    两种数据对比:基于radar点云的检测都是需要预定义每个需要检测的类的 box大小,毫米波在辨别物体时有一定的优势,但是在物体的任务上缺乏可参考的尺寸特征(仅有RCS),在回归任务上需要预设大小。相比之下,在RD原始数据中显示地带有了目标的横截面积反射强度等信息(),工作2**(暂定没有预设尺寸)**可以在没有预设尺寸情况下较好回归目标属性。但是,在高度属性等地面垂直方向属性预测上,雷达这种平面数据无法有效预测。

    1.2 to Lidar

    这类工作主要对Lidar Based方法进行改进,用于Radar。

    1.2.1 Point-wise 的检测方法

    2D Car in Radar Data with (2019 IEEE )

    出发点: 在point-level借鉴-和进行3D目标检测。

    作者基于-和进行了改进,提出一种point-wise的3D目标检测网络。

    整个模块分为三个部分:

    第一部分基于现有的radar 生成2D的Patch ,相当于中的,用于聚合局部特征,现定某个patch内部的point点数为n,相当于对每个patch内部的点做一系列的操作,Patch 的输入为n x 4(2D data, ego and RCS .)。 第二部分将内部的点云提取局部和全局特征,经过对和radar-的点云过滤,输出mx4的筛选后的radar 向量(与原始数据一致)。 最后一部分,将筛选出来的点经过传统的T-NET和Box-输出最后的各项属性。

    下面是更详细的结构图:

    1.3 多模态融合 1.3.1 point-wise 和-wise (-level & level)集合用于多模态检测

    the View of Radar and for Multi-modal 3D (2021 8月 arxiv 清华)

    出发点: 在BEV空间,在point level和 level两个层面实现图像特征和点云特征的融合。

    模型架构: 模型细节:

    (1) point-和ROI 两种融合并存互补的想法;

    (2) two-stage-方法:两个模态分支各自完成生成后,再次进行融合,在特征细粒度和全局信息融合上都有考虑到,融合结构如下所示:在融合之前,不用保持分辨率的一致图像设置特征点的选取,在point-wise融合时两个不同分辨率的模态要分别经过上下采样统一后融合。

    (3) 在radar上使用conv-lstm这类方法进行时序雷达信息融合,作者以此解决点云的部分噪声问题:杂波和数据稀疏,但是没有通过消融实验证明lstm结构的合理性;

    (4) 雷达数据处理:-

    - 每一帧的雷达点云都经过转换到 frame,输入的raw radar包含:x, y, vr, RCS;

    - 空间特征提取:使用常用的或者;

    - 时序特征:,对空间特征特征图提取时序特征到 中,具体结构可参考如下结构,将卷积和lstm结合起来,使得模型同时具有提取空间和时序特征的能力,这个在天气预测有一些应用;

    (5) 图像特征提取:LSS

    和的方法一致,提取-map后,经过一系列的转换(lift)将特征转换为基于视锥分布的深度特征图,后通过的方式(splat)特征到BEV空间。

    评价总结

    作者在BEV空间中以top-down的形式检测,没有引入先验的目标尺寸信息,而是通过中心点回归其他信息。

    1.3.2 用图像分割增强毫米波点云的检测效果

    : A to Radar (2022 年 8月)

    出发点: 用语义分割结果渲染点云图,对毫米波点云引入图像语义信息用于3D检测。

    模型架构:

    这里融合的方式并不复杂,因此不做过多介绍,这篇文论的精彩之处我认为在于SPG 的前面:

    类比与的方式,将雷达点云赋予语义信息(图像经过 的分割后的全景分割图像),生成 map用于渲染投影到FOV后对应的毫米波点云,然后分别与对应的点云的特征和BEV map进行叠加,到此完成特征的对齐和不同特征向量的叠加。后利用UNet网络提取多尺度特征,分别送入分类和回归检测头。

    模型细节:

    (1) 点云渲染

    通过对比,可以看出在语义通道中,毫米波通过语义分割渲染后的点云带有图像本身的语义信息,能够直观反映了其能够弥补毫米波缺少类别特征的劣势。

    (2)检测头

    (3)天气模拟

    作者使用图像增强库模拟增加极端天气:大雾、大雪等天气,可以控制雪花大小、下降速度等参数模拟真实环境。

    (4)模型输入:

    分析总结

    作者在Astyx 数据集完成训练任务,在进行测试。相比训练的数据集,极端环境的占比更多,对模型的鲁棒性要求更高。

    (1)在Astyx数据集对比中:选取-view-based方法当时的SOTA-进行比较,为了保持公平,将预训练的微调到新数据集中,实验结果也证明微调后的网络比from-的网络表现更好,作者基于此对进行了微调并用于。性能下降很多,但是作者没有给出足够的细节,我能推测出来的:在BEV下3D检测的结果与的FOV检测结果相比较。

    (2)作者使用后的结果渲染point,所以融合的效果严重依赖于分割的效果,在极端天气下的分割效果如下图所示,点云的语义特征会严重退化;

    (3) lidar vs radar

    作者将换成lidar进行了对比试验,可以看出,在近处激光雷达的效果要优于毫米波,在远处发生了目标的重叠并且lidar点云的密度急剧下降,作者计算了不同的感知距离上限下性能的变化,可以看出radar在远距离检测的优越性。毫米波作为长波,相比激光雷达,在穿透性和感知距离上都要更优,但是同时也导致了毫米波雷达的多路径干扰等问题。

    (4) 相比,作者使用的这两个采集自真实场景的数据集由于其极端环境的占比较高,因此对于算法的鲁棒性要求更高,在数据集上,点云过于稀疏同时极端的环境占比并不高,因此在验证radar的鲁棒性等作用时,其他具有稠密点云或者极端天气比例较高的数据集也可以考虑,增加我们的实验严谨性。

    二、Depth 2.1 毫米波雷达辅助视觉进行深度估计

    题目:Depth From and Radar Using Deep (ICIP,2021,九月)

    作者出发点: 随着lidar-based的深度估计方法用于3D目标检测(),radar-based方法也通过改进,根据radar特性设计了一些深度估计的方法。作者结合DORN网络并进行改进,引入radar分支用于深度检测。

    源代码: radar

    网络架构:由图可以看出,两个模态在FOV分别通过提取后(要注意,此时的radar并不是raw data,而是通过滤波后的深度值),分别通过DORN深度估计网络和普通的卷积进行编码,随后并上采样,最后通过序数回归对深度进行估计,其中蓝色部分与DORN保持一致,只是将深度估计问题变成分类问题( )。整体结构并不复杂,重要的是作者如何将radar用于深度估计的流程。

    主要创新点:一个是将点云扩展高度变成line,提高毫米波点云的"感受野",增强深度估计效果。一个是将多模态引入单模态深度估计DORN网络。

    模型细节

    (1) 作者将毫米波雷达的困难定义为:稀疏、噪声比大、无高度信息(影响的高度范围有限),通过预处理,生成一个- multi-frame radar。

    (2) 雷达预处理流程如下:1. 高度扩展,类似于,将点云扩展0.25~2m的范围内,变成一条直线;2. 滤波:将不符合深度阈值的毫米波点云滤除,阈值定义如下,滤波过程和生成radar-depth特征的过程可参考[Depth from and Radar Data]。

    总结

    可以看出,提出的方法比在深度预测上更接近真实值。

    由上图,可以看出滤波的有效性

    由上图可以看出预处理中毫米波高度扩展的有效性

    三、 3.1 多模态融合的map分割

    A for BEV LiDAR(2022, MIT)

    作者的出发点: 在BEV上通过的方式"无参数化"地完成Lift操作(将图像特征转换到BEV空间),融合雷达点云特征图,用于分割任务,性能超越了之前的分割模型。

    网络结构:

    总结分析: 四、Dense 4.1 GAN 4.1.1 通过密集点云监督radar生成密集点云

    See Smoke: with Low-cost Radar (2020, 斯坦福)

    4.2 Lidar 4.2.1 激光雷达点云监督毫米波生成 grid map

    Radar With Lidar While Long-Range and

    作者的出发点: 通过lidar这种数据质量较高的模态,监督毫米波雷达生成质量较高的占据栅格地图,解决在这个过程中的两个问题:一解决网格生成存在于传感器之间的内生性问题:传感器感知距离不一,传感器穿透性不一问题;二解决长距离网格生成问题;生成的occpy grid map可用于下游的路径规划等问题。

    本文一些基本定义: 模型架构:使用传统的UNet生成 grid map,输入是BEV表示下的Radar的点云,输出为 grid。 模型细节: 总结:

    以上是效果图,可以看到,原本的radar输入是非常混乱的,带有非常多的噪声,第二列是训练数据可以看到lidar的点云非常规则能够反映区域内比较完整的几何信息,第三列是输出的结果,通过lidar数据的监督,能够在lidar区域以外,生成噪声较小,能够反映路面分布的点云图。第四列是人工标注的GT,最后生成的与GT相较radar更为接近。

    以上是效果图,可以看到,原本的radar输入是非常混乱的,带有非常多的噪声,第二列是训练数据可以看到lidar的点云非常规则能够反映区域内比较完整的几何信息,第三列是输出的结果,通过lidar数据的监督,能够在lidar区域以外,生成噪声较小,能够反映路面分布的点云图。第四列是人工标注的GT,最后生成的与GT相较radar更为接近。在对网络预测深度监督时,深度本身的模态无关的信息,不加改变地监督深度预测网络是可行的,但是对于radar和lidar两种模态,各自有各自的特性,强制地把一种模态地特征监督另一种模态而不加变化,势必会导致本文中出现的虚警等情况,

网站首页   |    关于我们   |    公司新闻   |    产品方案   |    用户案例   |    售后服务   |    合作伙伴   |    人才招聘   |   

地址:北京市海淀区    电话:010-     邮箱:@126.com

备案号:冀ICP备2024067069号-3 北京科技有限公司版权所有