多模态融合-MVP
2023-12-16 20:41:05
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
文章目录
前言
提示:这里可以添加本文要记录的大概内容:
MVP:Multimodal Virtual Point 3D Detection
- 对于远距离小目标,Lidar很难实现有效检测,但在RGB图像上可以清晰观测并检测出来
- 点云十分稀疏,尤其对于远距离的目标物
通过将激光点云3D BBox投影道2D图像,可以发现激光对远处的目标检测要弱于传统的2D detector,所以作者想用2D的图像信息去补充3D的点云信息。
一、MVP优势
- 通过对不同距离的目标物补充相同数目的虚拟点,使得这些目标物所占据的点云数目更加一致;
- 一个即插即用的模块
- 再nuscenes数据集上,通过centerpoint上引入虚拟点,使得检测精度提升了6.6mAP, 此外MVP最佳模型再nuSecnes上实现了66.4mAP和70.5NDS,取得了SOTA结果;
二、MVP方法
1.Lidar到RGB图像转换
- lidar到车辆后轴中心点的外参;
- lidar和相机的时间补偿;
- 车辆坐标系转图像坐标系;
T r g b < ? l i d a
文章来源:https://blog.csdn.net/u012858839/article/details/135036406
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!