图像融合论文阅读:DenseFuse: A fusion approach to infrared and visible images

2023-12-23 07:11:51

@article{li2018densefuse,
title={DenseFuse: A fusion approach to infrared and visible images},
author={Li, Hui and Wu, Xiao-Jun},
journal={IEEE Transactions on Image Processing},
volume={28},
number={5},
pages={2614–2623},
year={2018},
publisher={IEEE}
}


论文级别:SCI A1
影响因子:10.6

📖[论文下载地址]



📖论文解读

在编码器中使用了密集连接来提取特征,使用解码器得到融合图像。

🔑关键词

Image fusion, deep learning, dense block,infrared image, visible image.
图像融合,深度学习,密集块,红外图像,可见光图像

💭核心思想

使用AE+密集块实现VIF.
融合策略:L1范式+softmax

参考链接
[什么是图像融合?(一看就通,通俗易懂)]

🪢网络结构

在这里插入图片描述
在这里插入图片描述

📉损失函数

在这里插入图片描述
损失函数=结构相似性损失+像素损失
在这里插入图片描述
O和I分别代表输出和输入图像,像素损失是输出O和输入I的欧几里得距离。
结构性损失如下:
在这里插入图片描述
SSIM(·)表示结构相似度运算。在训练阶段,λ分别设置为1、10、100和1000。

🧲融合策略

加法策略

在这里插入图片描述
在这里插入图片描述

L1范式+softmax(本文采用的融合策略)

在这里插入图片描述
在此图中, ? i m \phi_i^m ?im?代表特征图,活动水平映射 C ^ i \hat C_i C^i?可以由L1范式和基于块的平均算子计算得出。
初始活动水平映射 C i C_i Ci?为:
在这里插入图片描述
在这里插入图片描述
r决定了块的大小,本文作者设置为1.
在这里插入图片描述

🔢数据集

-MS-COCO 的灰度图作为训练输入图像,256×256

图像融合数据集链接
[图像融合常用数据集整理]

🎢训练设置

🔬实验

📏评价指标

  • EN
  • QABF
  • SCD
  • FMI_W & FMI_DCT
  • SSIM_A
  • MS_SSIM

参考资料
???强烈推荐必看博客 [图像融合定量指标分析]

🥅Baseline

  • CBF,JSR,GTF,JSRSD,CNN

参考资料
[图像融合论文baseline及其网络模型]

🔬实验结果

在这里插入图片描述
在这里插入图片描述

更多实验结果及分析可以查看原文:

📖[论文下载地址]


🚀传送门

📑图像融合相关论文阅读笔记

📑[DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pair]
📑[GANMcC: A Generative Adversarial Network With Multiclassification Constraints for IVIF]
📑[DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion]
📑[IFCNN: A general image fusion framework based on convolutional neural network]
📑[(PMGI) Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity]
📑[SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion]
📑[DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion]
📑[FusionGAN: A generative adversarial network for infrared and visible image fusion]
📑[PIAFusion: A progressive infrared and visible image fusion network based on illumination aw]
📑[CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion]
📑[U2Fusion: A Unified Unsupervised Image Fusion Network]
📑综述[Visible and Infrared Image Fusion Using Deep Learning]

📚图像融合论文baseline总结

📚[图像融合论文baseline及其网络模型]

📑其他论文

📑[3D目标检测综述:Multi-Modal 3D Object Detection in Autonomous Driving:A Survey]

🎈其他总结

🎈[CVPR2023、ICCV2023论文题目汇总及词频统计]

?精品文章总结

?[图像融合论文及代码整理最全大合集]
?[图像融合常用数据集整理]

如有疑问可联系:420269520@qq.com;
码字不易,【关注,收藏,点赞】一键三连是我持续更新的动力,祝各位早发paper,顺利毕业~

文章来源:https://blog.csdn.net/jiexiang5396/article/details/135115614
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。