基于时序的4D标注工作
2023-12-20 18:27:33
1. 全局地图重建
1.1. Lidar和Camera的组合
- R3LIVE:https://arxiv.org/pdf/2109.07982.pdf
- 方法:对齐camera和lidar的信息
- LIO和VIO紧耦合的方式
- LiDAR-inertial odometry (LIO)
- visual-inertial odometry (VIO)
- 缺点:
- 地面出现空洞
- 紧耦合对标注不太好
- 改进方向:松耦合
1.2. Camera全局地图重建
大场景的重建
Nerf方法
- Block-Nerf:https://arxiv.org/pdf/2202.05263.pdf
- 巨大的算力开销和处理时间
不是很care:mrse、z轴的偏差
考虑到:可操作性、和地图的交互、像素差
SFM方法
- pixel-perfect-sfm:https://arxiv.org/pdf/2108.08291.pdf
- 主要思路:CNN提取特征,然后调整SFM
- 目前正在使用的,优点:特征提取很好,很鲁棒
- 实践:重投影误差3个像素以内,光照比较好的情况1个像素误差
- 缺点:雨天会出现离群点,会做一些过滤
Camera base的缺点:
- 依赖图片质量:低光照、有污渍、极端天气表现不好,很难用超分量的方式来补充失去的feature
优点: - 标签有全局信息,缓解帧间的gap和bbox的调变问题
- 全部标注成本30%,且数据质量更高
- 支持多种传感器组合
- 下游任务友好,例如Synatactic或Occ
标注团队可能用的x99、x79,需要内存占用比较小,优化到2~3G
2. 动态物去除
- removert:https://github.com/irapkaist/removert
- Offboard 3D:https://arxiv.org/pdf/2103.05073.pdf
- 3D OD -> MOT -> 分类模型做动静态分类
- MPPNet:差不多思路
- CTRL:https://arxiv.org/pdf/2304.12315.pdf
- 认为:同类物体尺寸不一致、调变;做动静态物体分类会减少物体的多样性,阻碍数据的泛化
- 第一阶段Forward tracking IOU匹配,第二阶段做关联(这点可以借鉴)
- DetZero:https://arxiv.org/pdf/2306.06023.pdf(shanghai AI lab ,Waymo SOTA)
- 正在使用的pipeline,优点:
- Detection、MOT、Refine是解耦
- 精度高
- 正在使用的pipeline,优点:
非刚体物体的去处:人工、策略
跨域检测问题
lidar跨域的适配比较差,会考虑到3D Trans的工作
- SPOT:https://arxiv.org/pdf/2309.10527.pdf
- 用Occupany做域的归一化操作,对于域差异的数据有帮助
- RESIMAD:https://arxiv.org/pdf/2309.05527.pdf
- 通过Reconstructed Mesh的操作减少点云的差异
- 通过Reconstructed Mesh的操作减少点云的差异
目前是将RESIMAD嵌入到DetZero
4. 其他工作
Occupancy
既然重建了高精地图,那就可以做Occupancy的生成
- SurroundOCC:
- 分类动静态点云,合并多帧
Synthetic
- READ:
- drivedreamer:生成驾驶策略,模拟corner case
文章来源:https://blog.csdn.net/qq_35759272/article/details/135109168
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!