多模态融合-MVP

2023-12-16 20:41:05

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档


前言

提示:这里可以添加本文要记录的大概内容:
MVP:Multimodal Virtual Point 3D Detection

  • 对于远距离小目标,Lidar很难实现有效检测,但在RGB图像上可以清晰观测并检测出来
  • 点云十分稀疏,尤其对于远距离的目标物

在这里插入图片描述
通过将激光点云3D BBox投影道2D图像,可以发现激光对远处的目标检测要弱于传统的2D detector,所以作者想用2D的图像信息去补充3D的点云信息。

一、MVP优势

  • 通过对不同距离的目标物补充相同数目的虚拟点,使得这些目标物所占据的点云数目更加一致;
  • 一个即插即用的模块
  • 再nuscenes数据集上,通过centerpoint上引入虚拟点,使得检测精度提升了6.6mAP, 此外MVP最佳模型再nuSecnes上实现了66.4mAP和70.5NDS,取得了SOTA结果;

二、MVP方法

1.Lidar到RGB图像转换

  • lidar到车辆后轴中心点的外参;
  • lidar和相机的时间补偿;
  • 车辆坐标系转图像坐标系;
    T r g b < ? l i d a

文章来源:https://blog.csdn.net/u012858839/article/details/135036406
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。