多模态融合-MVP

2023-12-16 20:41:05

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

提示：这里可以添加本文要记录的大概内容：
MVP：Multimodal Virtual Point 3D Detection

  • 对于远距离小目标，Lidar很难实现有效检测，但在RGB图像上可以清晰观测并检测出来
  • 点云十分稀疏，尤其对于远距离的目标物

在这里插入图片描述
通过将激光点云3D BBox投影道2D图像，可以发现激光对远处的目标检测要弱于传统的2D detector，所以作者想用2D的图像信息去补充3D的点云信息。

一、MVP优势

  • 通过对不同距离的目标物补充相同数目的虚拟点，使得这些目标物所占据的点云数目更加一致；
  • 一个即插即用的模块
  • 再nuscenes数据集上，通过centerpoint上引入虚拟点，使得检测精度提升了6.6mAP, 此外MVP最佳模型再nuSecnes上实现了66.4mAP和70.5NDS，取得了SOTA结果；

二、MVP方法

1.Lidar到RGB图像转换

  • lidar到车辆后轴中心点的外参；
  • lidar和相机的时间补偿；
  • 车辆坐标系转图像坐标系；
    T r g b < ? l i d a

文章来源:https://blog.csdn.net/u012858839/article/details/135036406
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。