BAM:瓶颈注意力模块

摘要

https://arxiv.org/pdf/1807.06514.pdf
近期深度神经网络的进展主要通过架构搜索来增强其表示能力。在这项工作中，我们专注于注意力在一般深度神经网络中的作用。我们提出了一种简单而有效的注意力模块，名为瓶颈注意力模块（BAM），可以与任何前馈卷积神经网络集成。我们的模块沿两个独立的通道和空间路径推断注意力图。我们将模块放置在模型中的每个瓶颈处，其中特征图进行了下采样。我们的模块在具有大量参数的瓶颈处构建了分层注意力，并且可以与任何前馈模型进行端到端的训练。我们在CIFAR-100、ImageNet-1K、VOC 2007和MS COCO基准上进行了广泛的实验来验证我们的BAM。实验结果表明，我们的BAM在不同模型中都实现了分类和检测性能的持续提高，这表明BAM具有广泛的适用性。代码和模型将公开可用。

1、简介

深度学习已经成为一系列模式识别应用的有力工具，包括分类、检测、分割和控制问题。由于其数据驱动的本质和大规模并行计算的可获得性，深度神经网络在大多数领域都取得了最先进的结果。研究人员已经通过多种方式来提高性能，例如设计优化器[28,48]，提出对抗训练方案[11]，或针对特定任务的元架构，如两阶段架构[37]进行检测。

提高性能的基本方法是设计一个好的主干网络架构。自从第一个大规模深度神经网络AlexNet [30]以来，已经提出了各种主干网络架构，如VGGNet [40]、GoogLeNet [41]、ResNet [16]、DenseNet [20]。所有主干网络架构都有自己的设计选择，并且相对于先前的架构显示出显著的性能提升。

提高网络性能的最直观方法是堆叠更多的层。然后，深度神经网络能够使用其深层来近似高维函数。VGGNet [40]和ResNet [15]的哲学正是遵循这一原则。与AlexNe