第1个回答 2022-06-02
在达摩院做3d目标检测，简单调研一下。
使用RGB图像、RGB-D深度图像和激光点云，输出物体类别及在三维空间中的长宽高、旋转角等信息的检测称为3D目标检测。
在无人驾驶、机器人、增强现实的应用场景下，普通2D检测并不能提供感知环境所需要的全部信息，2D检测仅能提供目标物体在二维图片中的位置和对应类别的置信度，但是在真实的三维世界中，物体都是有三维形状的，大部分应用都需要有目标物体的长宽高还有偏转角等信息。例如下图Fig.1中，在自动驾驶场景下，需要从图像中提供目标物体 三维大小 及旋转角度等指标，在鸟瞰投影的信息对于后续自动驾驶场景中的路径规划和控制具有至关重要的作用。
3DOP这篇文章是当下使用双目相机进行3D bounding-box效果做好的方法，其是Fast RCNN方法在3D领域之内的拓展。由于原论文发表于NIPS15，出于Fast RCNN的效果并没有Faster RCNN和基于回归的方法好，且远远达不到实时性，因此其处理一张图片的时间达到了4.0s。
它使用一个立体图像对作为输入来估计深度，并通过将图像平面上像素级坐标重新投影回三维空间来计算点云。3DOP将候选区生成的问题定义为Markov随机场(MRF)的能量最小化问题，该问题涉及精心设计的势函数(例如，目标尺寸先验、地平面和点云密度等)。
随着获得了一组不同的3D目标的候选框，3DOP利用FastR-CNN[11]方案回归目标位置。
论文主要基于FCOS无锚点2D目标检测做的改进，backbone为带有DCN的ResNet101，并配有FPN架构用于检测不同尺度的目标，网络结构如图1所示：
基于iou 3d，可以定义出TP和FP
通过绘制精确性×召回率曲线（PRC），曲线下的面积往往表示一个检测器的性能。然而，在实际案例中，"之 "字形的PRC给准确计算其面积带来了挑战。KITTI采用AP@SN公制作为替代方案，直接规避了计算方法。
NuScenes consists of multi-modal data collected from 1000 scenes, including RGB images from 6 cameras, points from 5 Radars, and 1 LiDAR. It is split into 700/150/150 scenes for training/validation/testing. There are overall 1.4M annotated 3D bounding boxes from 10 categories. In addition, nuScenes uses different metrics, distance-based mAP and NDS, which can help evaluate our method from another perspective.