Unet++改进6:添加CoordAtt注意力机制
本文内容:添加CoordAtt注意力机制
论文简介
最近关于移动网络设计的研究已经证明了通道注意(例如,挤压和激励注意)对于提高模型性能的显着有效性,但它们通常忽略了位置信息,而位置信息对于生成空间选择性注意图非常重要。在本文中,我们提出了一种新的移动网络注意机制,将位置信息嵌入到通道注意中,我们称之为“坐标注意”。与通过二维全局池化将特征张量转换为单个特征向量的通道注意不同,坐标注意将通道注意分解为两个一维特征编码过程,分别沿着两个空间方向聚合特征。这样可以在一个空间方向上捕获远程依赖关系,同时在另一个空间方向上保持精确的位置信息。然后将得到的特征图分别编码为一对方向感知和位置敏感的注意图,它们可以互补地应用于输入特征图,以增强感兴趣对象的表示。我们的坐标关注很简单,可以灵活地插入经典的移动网络,如MobileNetV2、MobileNeXt和EfficientNet,几乎没有计算开销。大量的实验表明,我们的坐标关注不仅有利于ImageNet分类,更有趣的是,在下游任务,如目标检测和语