秃姐学AI系列之:FCN + 代码实现
全连接神经网络——FCN
我们上篇博文讲了,语义分割是对图片的每个像素进行分类。而全卷积网络(fully convolutional network,FCN)采用卷积神经网络实现了从图像像素到像素类别的变换。
与我们之前在 图像分类 或 目标检测 部分介绍的卷积神经网络不同,全卷积网络将中间层特征图的高和宽变换回输入图像的尺寸:通过引入的转置卷积(transposed convolution)实现。因此,输出的类别预测与输入图像在像素级别上具有一一对应关系:通道维的输出即该位置对应像素的类别预测。
- FCN使用深度神经网络来做语义分割的奠基性工作(意味着现在用的不多,开创性工作)
- 它用转置卷积层来替换CNN最后的全连接层,从而实现每个像素的预测
上图的“卷积神经网络”其实是去掉了最后的 全连接层 和 全局平均池化层 的已经训练好的分类网络
后接一个 1x1的卷积层,不是用来对空间信息做操作,主要是用来降低你的维度,降低后面的计算量
后接一个转置卷积层,来把图片放大——>会还原成和输入图片一样尺寸大小的图片,其通道数 k 表示对每个像素来言,有 k 个类别。(即分类存储在通道中)
代码实现
%matplotlib inline
import torch
import torchvision
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l
拉预训练ResNet-18网络
下面,我们使用在 ImageNet 数据集上预训练的 ResNet-18 模型来提取图像特征,并将该网络记为 pretrained_net
。
ResNet-18 模型的最后几层包括全局平均汇聚层和全连接层,然而全卷积网络中不需要它们。
# 把参数pretrained打开,就可以拿到模型的权重
pretrained_net = torchvision.models.resnet18(pretrained=True)
# 把模型最后三层列出来看看长什么样子
list(pretrained_net.children())[-3:]# 输出
[Sequential((0): BasicBlock((conv1): Conv2d(256, 512, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)(bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(relu): ReLU(inplace=True)(conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(downsample): Sequential((0): Conv2d(256, 512, kernel_size=(1, 1), stride=(2, 2), bias=False)(1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)))(1): BasicBlock((conv1): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(relu): ReLU(inplace=True)(conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True))),AdaptiveAvgPool2d(output_size=(1, 1)), # 一个平均池化层Linear(in_features=512, out_features=1000, bias=True)] # 一个线性层
由此我们发现,最后两层:平均池化层 和 线性层是我们不需要的
接下来,我们创建一个全卷积网络net
。 它复制了ResNet-18中大部分的预训练层,除了最后的全局平均汇聚层和最接近输出的全连接层。
# 去掉pretrained_net的后两层,把参数变成一个list,传入Sequential,一个新的net创建完毕
net = nn.Sequential(*list(pretrained_net.children())[:-2])X = torch.rand(size=(1, 3, 320, 480))
net(X).shape# 输出
torch.Size([1, 512, 10, 15])
我们发现给定高度为320和宽度为480的输入,net
的前向传播将输入的高和宽减小至原来的1/32,即10和15。
全卷积网络的好处在于,不会明确的框定输入输出大小:
CNN一旦确定了网络,输入输出都是确定的值
而FCN它学习的是kernal的值,与你图片的大小没有明确的关系,所以一个比较大的图片也可以接得住
使用卷积层将输出通道改变为数据集对应的类别数
接下来使用1×1卷积层将输出通道数转换为Pascal VOC2012数据集的类数(21类)。
最后需要将特征图的高度和宽度增加32倍,从而将其变回输入图像的高和宽。
回想一下卷积层输出形状的计算方法: 由于(320−64+16×2+32)/32=10且(480−64+16×2+32)/32=15,我们构造一个步幅为32的转置卷积层,并将卷积核的高和宽设为64,填充为16。
我们可以看到如果步幅为s,填充为s/2(假设s/2是整数)且卷积核的高和宽为2s,转置卷积核会将输入的高和宽分别放大s倍。
num_classes = 21
net.add_module('final_conv', nn.Conv2d(512, num_classes, kernel_size=1))
net.add_module('transpose_conv', nn.ConvTranspose2d(num_classes, num_classes,kernel_size=64, padding=16, stride=32))
初始化转置卷积层
在图像处理中,我们有时需要将图像放大,即上采样(upsampling)。 双线性插值(bilinear interpolation) 是常用的上采样方法之一,它也经常用于初始化转置卷积层。
为了解释双线性插值,假设给定输入图像,我们想要计算上采样输出图像上的每个像素。
-
将输出图像的坐标(x,y)映射到输入图像的坐标(x′,y′)上。 例如,根据输入与输出的尺寸之比来映射。 请注意,映射后的x′和y′是实数。
-
在输入图像上找到离坐标(x′,y′)最近的4个像素。
-
输出图像在坐标(x,y)上的像素依据输入图像上这4个像素及其与(x′,y′)的相对距离来计算。
双线性插值的上采样可以通过转置卷积层实现,内核由以下bilinear_kernel
函数构造。
# 双线性插值核的实现
def bilinear_kernel(in_channels, out_channels, kernel_size):factor = (kernel_size + 1) // 2if kernel_size % 2 == 1:center = factor - 1else:center = factor - 0.5og = (torch.arange(kernel_size).reshape(-1, 1),torch.arange(kernel_size).reshape(1, -1))filt = (1 - torch.abs(og[0] - center) / factor) * \(1 - torch.abs(og[1] - center) / factor)weight = torch.zeros((in_channels, out_channels,kernel_size, kernel_size))weight[range(in_channels), range(out_channels), :, :] = filtreturn weight
用双线性插值的上采样输出话转置卷积层。对于卷积层,我们使用Xavier初始化参数。
W = bilinear_kernel(num_classes, num_classes, 64)
net.transpose_conv.weight.data.copy_(W);
读取数据集
batch_size, crop_size = 32, (320, 480)
train_iter, test_iter = d2l.load_data_voc(batch_size, crop_size)
训练
训练方面的代码几乎没什么区别,唯一区别就是以前分类,我们的损失是一个标量,而现在每个像素都需要计算一个损失,相当于一个矩阵,需要在长、宽维度求一个均值
def loss(inputs, targets):# 求均值return F.cross_entropy(inputs, targets, reduction='none').mean(1).mean(1)num_epochs, lr, wd, devices = 5, 0.001, 1e-3, d2l.try_all_gpus()
trainer = torch.optim.SGD(net.parameters(), lr=lr, weight_decay=wd)
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, devices)
预测
在预测时,我们需要将输入图像在各个通道做标准化,并转成卷积神经网络所需要的四维输入格式。
def predict(img):X = test_iter.dataset.normalize_image(img).unsqueeze(0)pred = net(X.to(devices[0])).argmax(dim=1) # 在通道维度(21维)上做argmax,可以得到对每个像素的预测的那个通道数最大值return pred.reshape(pred.shape[1], pred.shape[2])
为了可视化预测的类别给每个像素,我们将预测类别映射回它们在数据集中的标注颜色。
def label2image(pred):colormap = torch.tensor(d2l.VOC_COLORMAP, device=devices[0])X = pred.long()return colormap[X, :]
测试数据集中的图像大小和形状各异。 由于模型使用了步幅为32的转置卷积层,因此当输入图像的高或宽无法被32整除时,转置卷积层输出的高或宽会与输入图像的尺寸有偏差。
为了解决这个问题,我们可以在图像中截取多块高和宽为32的整数倍的矩形区域,并分别对这些区域中的像素做前向传播。
请注意,这些区域的并集需要完整覆盖输入图像。
当一个像素被多个区域所覆盖时,它在不同区域前向传播中转置卷积层输出的平均值可以作为softmax
运算的输入,从而预测类别。
为简单起见,我们只读取几张较大的测试图像,并从图像的左上角开始截取形状为320×480的区域用于预测。 对于这些测试图像,我们逐一打印它们截取的区域,再打印预测结果,最后打印标注的类别。
voc_dir = d2l.download_extract('voc2012', 'VOCdevkit/VOC2012')
test_images, test_labels = d2l.read_voc_images(voc_dir, False)
n, imgs = 4, []
for i in range(n):crop_rect = (0, 0, 320, 480)X = torchvision.transforms.functional.crop(test_images[i], *crop_rect)pred = label2image(predict(X))imgs += [X.permute(1,2,0), pred.cpu(),torchvision.transforms.functional.crop(test_labels[i], *crop_rect).permute(1,2,0)]
d2l.show_images(imgs[::3] + imgs[1::3] + imgs[2::3], 3, n, scale=2);
第一行图片;第二行预测;第三行标号
小结
-
全卷积网络先使用卷积神经网络抽取图像特征,然后通过1×1卷积层将通道数变换为类别个数,最后通过转置卷积层将特征图的高和宽变换为输入图像的尺寸。
-
在全卷积网络中,我们可以将转置卷积层初始化为双线性插值的上采样。