当前位置：首页 > news >正文

YOLOv10改进策略【卷积层】| HWD，引入`Haar小波变换`到下采样模块中，减少信息丢失

news 2024/11/5 18:07:10

一、本文介绍

本文记录的是利用Haar小波下采样对YOLOv10网络进行改进的方法研究。传统的卷积神经网络中常用的最大池化、平均池化和步长为2的卷积等操作进行下采样可能会导致信息丢失，为了解决信息丢失问题，HWD作者受无损信息变换方法的启发，引入Haar小波变换到下采样模块中，旨在尽可能地保留图像信息，以便后续层能够提取更具判别性的特征，从而提高模型性能。

专栏目录：YOLOv10改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：YOLOv10改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

文章目录

一、本文介绍
二、Haar小波下采样原理
- 2.1、原理
- 2.2、优势
三、HWD的实现代码
四、创新模块
- 4.1 改进点⭐
五、添加步骤
- 5.1 修改一
- 5.2 修改二
- 5.3 修改三
六、yaml模型文件
- 6.1 模型改进⭐
七、成功运行结果

二、Haar小波下采样原理

Haar小波下采样:一个简单但有效的语义分割下采样模块。

2.1、原理

HWD模块由两个主要块组成：无损特征编码块和特征表示学习块。

无损特征编码块：利用Haar小波变换层有效地降低特征图的空间分辨率，同时保留所有信息。Haar小波变换是一种广泛认可的、紧凑的、二进的和正交的变换，在图像编码、边缘提取和二进制逻辑设计中有着广泛的应用。当对二维信号（如灰度图像）应用Haar小波变换时，会产生四个分量，每个分量的空间分辨率是原始信号的一半，而特征图的通道数则变为原来的四倍。这意味着Haar小波变换可以将部分空间维度的信息编码到通道维度中，而不会丢失任何信息。
特征表示学习块：由标准的1×1卷积层、批量归一化层和ReLU激活函数组成。该块用于调整特征图的通道数，使其与后续层对齐，并尽可能地过滤冗余信息，使后续层能够更有效地学习代表性特征。

在这里插入图片描述

2.2、优势

提高分割性能：通过在三个不同模态的图像数据集上进行的广泛实验表明，HWD模块能够有效提高分割性能。在Camvid数据集上，与七种最先进的分割架构相结合，使用HWD模块的模型在平均交并比（mIoU）上相比基线有1 - 2%的提升，特别是对于小尺度对象（如行人、自行车、围栏和标志符号等）的性能有显著改善。
减少信息不确定性：利用结构相似性（SSIM）、峰值信噪比（PSNR）和提出的特征熵指数（FEI）评估下采样对特征图的有效性，结果表明HWD模块能够提高SSIM（7.78%）和PSNR（2.14 dB），并大幅降低信息不确定性。在所有21个模型中，HWD模块相比原始下采样方法，使特征不确定性降低了58.2%（FEI）和46.8%（FEI_B）。
通用性和易用性：HWD模块可以直接替换现有分割架构中的现有下采样方法（如最大池化、平均池化或步幅卷积），而不会引入额外的复杂性，并且能够显著提高分割性能。
在参数和计算量上的平衡：与传统的下采样方法（如平均池化和步幅卷积）相比，HWD模块在参数和浮点运算（FLOPs）上提供了一种平衡。虽然平均池化在参数和FLOPs方面表现更好，但HWD模块所需的参数少于步幅卷积的两倍，并且当通道数C大于一时，步幅卷积的计算开销超过HWD模块。
对浅层CNN的有效性：在MOST数据集上的实验表明，当使用ResNet - 18和ResNet - 34作为特征提取的骨干网络时，HWD模块显著提高了分割性能，这表明浅层CNN对信息的需求更高，而HWD模块能够满足这种需求。

HWD模块与其他下采样模块对比：

保留信息能力：传统的下采样方法（如最大池化、平均池化和步幅卷积等）会导致信息丢失，而HWD模块通过引入Haar小波变换，能够在降低特征图空间分辨率的同时尽可能保留信息。

论文：https://doi.org/10.1016/j.patcog.2023.109819
源码：https://github.com/apple1986/HWD

三、HWD的实现代码

HWD模块的实现代码如下：

import torch
import torch.nn as nndef autopad(k, p=None, d=1):  # kernel, padding, dilation"""Pad to 'same' shape outputs."""if d > 1:k = d * (k - 1) + 1 if isinstance(k, int) else [d * (x - 1) + 1 for x in k]  # actual kernel-sizeif p is None:p = k // 2 if isinstance(k, int) else [x // 2 for x in k]  # auto-padreturn pclass Conv(nn.Module):"""Standard convolution with args(ch_in, ch_out, kernel, stride, padding, groups, dilation, activation)."""default_act = nn.SiLU()  # default activationdef __init__(self, c1, c2, k=1, s=1, p=None, g=1, d=1, act=True):"""Initialize Conv layer with given arguments including activation."""super().__init__()self.conv = nn.Conv2d(c1, c2, k, s, autopad(k, p, d), groups=g, dilation=d, bias=False)self.bn = nn.BatchNorm2d(c2)self.act = self.default_act if act is True else act if isinstance(act, nn.Module) else nn.Identity()def forward(self, x):"""Apply convolution, batch normalization and activation to input tensor."""return self.act(self.bn(self.conv(x)))def forward_fuse(self, x):"""Perform transposed convolution of 2D data."""return self.act(self.conv(x))class HWD(nn.Module):def __init__(self, in_ch, out_ch):super(HWD, self).__init__()from pytorch_wavelets import DWTForwardself.wt = DWTForward(J=1, mode='zero', wave='haar')self.conv = Conv(in_ch * 4, out_ch, 1, 1)def forward(self, x):yL, yH = self.wt(x)y_HL = yH[0][:, :, 0, ::]y_LH = yH[0][:, :, 1, ::]y_HH = yH[0][:, :, 2, ::]x = torch.cat([yL, y_HL, y_LH, y_HH], dim=1)x = self.conv(x)return x

四、创新模块

4.1 改进点⭐

模块改进方法：
1️⃣ 加入HWD模块。HWD模块添加后如下：

在这里插入图片描述

注意❗：在5.2和5.3小节中需要声明的模块名称为：HWD。

五、添加步骤

5.1 修改一

① 在ultralytics/nn/目录下新建AddModules文件夹用于存放模块代码

② 在AddModules文件夹下新建HWD.py，将第三节中的代码粘贴到此处

在这里插入图片描述

5.2 修改二

在AddModules文件夹下新建__init__.py（已有则不用新建），在文件内导入模块：from .HWD import *

在这里插入图片描述

5.3 修改三

在ultralytics/nn/modules/tasks.py文件中，需要添加各模块类名称。

首先：导入模块

在这里插入图片描述

其次：在parse_model函数中注册HWD模块

在这里插入图片描述

还需在此函数下添加如下代码：

elif m in (HWD,):args = [ch[f], ch[f]]

在这里插入图片描述

最后，将ultralytics/cfg/default.yaml中的amp设置为False

在这里插入图片描述

六、yaml模型文件

6.1 模型改进⭐

在代码配置完成后，配置模型的YAML文件。

此处以ultralytics/cfg/models/v10/yolov10m.yaml为例，在同目录下创建一个用于自己数据集训练的模型文件yolov10m-HWD.yaml。

将yolov10m.yaml中的内容复制到yolov10m-HWD.yaml文件下，修改nc数量等于自己数据中目标的数量。

📌 模型的修改方法是将骨干网络中的下采样模块替换成HWD模块。

# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv10 object detection model. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 1 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov10n.yaml' will call yolov10.yaml with scale 'n'# [depth, width, max_channels]m: [0.67, 0.75, 768]backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]] # 0-P1/2- [-1, 1, Conv, [128, 3, 2]] # 1-P2/4- [-1, 3, C2f, [128, True]]- [-1, 1, HWD, [256]] # 3-P3/8- [-1, 6, C2f, [256, True]]- [-1, 1, HWD, [512]] # 5-P4/16- [-1, 6, C2f, [512, True]]- [-1, 1, HWD, [1024]] # 7-P5/32- [-1, 3, C2fCIB, [1024, True]]- [-1, 1, SPPF, [1024, 5]] # 9- [-1, 1, PSA, [1024]] # 10# YOLOv10.0n head
head:- [-1, 1, nn.Upsample, [None, 2, "nearest"]]- [[-1, 6], 1, Concat, [1]] # cat backbone P4- [-1, 3, C2f, [512]] # 13- [-1, 1, nn.Upsample, [None, 2, "nearest"]]- [[-1, 4], 1, Concat, [1]] # cat backbone P3- [-1, 3, C2f, [256]] # 16 (P3/8-small)- [-1, 1, Conv, [256, 3, 2]]- [[-1, 13], 1, Concat, [1]] # cat head P4- [-1, 3, C2fCIB, [512, True]] # 19 (P4/16-medium)- [-1, 1, SCDown, [512, 3, 2]]- [[-1, 10], 1, Concat, [1]] # cat head P5- [-1, 3, C2fCIB, [1024, True]] # 22 (P5/32-large)- [[16, 19, 22], 1, v10Detect, [nc]] # Detect(P3, P4, P5)

七、成功运行结果

分别打印网络模型可以看到HWD模块已经加入到模型中，并可以进行训练了。

yolov10m-HWD：

YOLOv10m-HWD summary: 495 layers, 17,267,302 parameters, 17,267,286 gradients, 62.7 GFLOPs

                  from  n    params  module                                       arguments                     0                  -1  1      1392  ultralytics.nn.modules.conv.Conv             [3, 48, 3, 2]                 1                  -1  1     41664  ultralytics.nn.modules.conv.Conv             [48, 96, 3, 2]                2                  -1  2    111360  ultralytics.nn.modules.block.C2f             [96, 96, 2, True]             3                  -1  1     74112  ultralytics.nn.AddModules.HWD.HWD            [96, 192]                     4                  -1  4    813312  ultralytics.nn.modules.block.C2f             [192, 192, 4, True]           5                  -1  1    295680  ultralytics.nn.AddModules.HWD.HWD            [192, 384]                    6                  -1  4   3248640  ultralytics.nn.modules.block.C2f             [384, 384, 4, True]           7                  -1  1    885888  ultralytics.nn.AddModules.HWD.HWD            [384, 576]                    8                  -1  2   1689984  ultralytics.nn.modules.block.C2fCIB          [576, 576, 2, True]           9                  -1  1    831168  ultralytics.nn.modules.block.SPPF            [576, 576, 5]                 10                  -1  1   1253088  ultralytics.nn.modules.block.PSA             [576, 576]                    11                  -1  1         0  torch.nn.modules.upsampling.Upsample         [None, 2, 'nearest']          12             [-1, 6]  1         0  ultralytics.nn.modules.conv.Concat           [1]                           13                  -1  2   1993728  ultralytics.nn.modules.block.C2f             [960, 384, 2]                 14                  -1  1         0  torch.nn.modules.upsampling.Upsample         [None, 2, 'nearest']          15             [-1, 4]  1         0  ultralytics.nn.modules.conv.Concat           [1]                           16                  -1  2    517632  ultralytics.nn.modules.block.C2f             [576, 192, 2]                 17                  -1  1    332160  ultralytics.nn.modules.conv.Conv             [192, 192, 3, 2]              18            [-1, 13]  1         0  ultralytics.nn.modules.conv.Concat           [1]                           19                  -1  2    831744  ultralytics.nn.modules.block.C2fCIB          [576, 384, 2, True]           20                  -1  1    152448  ultralytics.nn.modules.block.SCDown          [384, 384, 3, 2]              21            [-1, 10]  1         0  ultralytics.nn.modules.conv.Concat           [1]                           22                  -1  2   1911168  ultralytics.nn.modules.block.C2fCIB          [960, 576, 2, True]           23        [16, 19, 22]  1   2282134  ultralytics.nn.modules.head.v10Detect        [1, [192, 384, 576]]          
YOLOv10m-HWD summary: 495 layers, 17,267,302 parameters, 17,267,286 gradients, 62.7 GFLOPs