Unsupervised Domain Adaptation by Backpropagation

摘要

顶尖的深度架构通常是在大量标注数据上进行训练的。当某项任务缺乏标注数据时，领域自适应往往成为一个有吸引力的选择，前提是存在相似性质但来自不同领域（例如，合成图像）的标注数据。在这里，我们提出了一种新的领域自适应方法，适用于深度架构，可以在源领域的海量标注数据和目标领域的大量未标注数据上进行训练（不需要目标领域的标注数据）。

随着训练的进行，该方法促进了“深层”特征的产生，这些特征具备以下两点：（i）在源领域的主要学习任务中具有良好的区分性，（ii）在领域间的迁移中具有不变性。我们展示了这种自适应行为可以通过在几乎任何前馈模型中添加一些标准层和一个简单的梯度反转层来实现。生成的增强架构可以使用标准的反向传播进行训练。

总的来说，这种方法可以通过任何深度学习框架轻松实现。该方法在一系列图像分类实验中表现出色，在存在较大领域偏移的情况下实现了自适应效果，并在Office数据集上超越了之前的最新技术水平。

引言

深度前馈架构在广泛的机器学习任务和应用中带来了令人印象深刻的进展。然而，目前这些性能上的飞跃通常仅限于大量标注的训练数据可用的情况下。同时，对于缺乏标注数据的问题，虽然可能仍能够获得足够大的训练集来训练大规模的深度模型，但这些训练集在“测试时”遇到的数据上存在分布偏移的情况。一个重要的例子是合成或半合成的训练数据，这些数据可能非常丰富且完全标注，但它们的分布不可避免地与真实数据不同。

在训练和测试数据分布存在偏移的情况下学习一个区分性分类器或预测器被称为领域自适应（DA）。许多领域自适应方法已经在浅层学习的背景下提出，例如在数据表示或特征已经给定且固定的情况下。此类方法建立源域（训练时）和目标域（测试时）之间的映射，使得为源域学习的分类器可以通过与领域映射组合后应用于目标域。领域自适应的优势在于能够在目标域数据完全未标注（无监督领域自适应）或仅有少量标注样本（半监督领域自适应）的情况下学习领域间的映射。

与大多数仅使用固定特征表示的领域自适应研究不同，我们专注于将领域自适应与深度特征学习结合在一个训练过程中（深度领域自适应）。我们的目标是将领域自适应嵌入到表示学习过程中，使得最终的分类决策基于既有区分性又对领域变化不敏感的特征，即在源域和目标域具有相同或非常相似的分布。通过这种方式，得到的前馈网络可以应用于目标域，而不会受到两个领域间分布偏移的影响。

我们聚焦于学习结合以下两点的特征：(i) 区分性和 (ii) 领域不变性。通过对底层特征以及基于这些特征运行的两个区分性分类器进行联合优化来实现：(i) 标签预测器，它预测类别标签，既用于训练期间，也用于测试期间；(ii) 领域分类器，它在训练期间区分源域和目标域。在优化分类器参数以最小化它们在训练集上的误差的同时，底层深度特征映射的参数被优化，以最小化标签分类器的损失，并最大化领域分类器的损失。后者促进了在优化过程中领域不变特征的生成。

关键是，我们展示了所有这三个训练过程都可以嵌入一个适当组合的深度前馈网络（图1）中，该网络使用标准层和损失函数，并可以通过基于随机梯度下降或其修改算法（如带动量的SGD）进行标准的反向传播训练。我们的方法是通用的，因为它可以用于将领域自适应添加到任何通过反向传播训练的前馈架构中。实际上，所提出架构中唯一的非标准组件是一个非常简单的梯度反转层，它在前向传播过程中保持输入不变，而在反向传播过程中通过将梯度乘以负标量来反转梯度。

下文中，我们详细介绍了在深度架构中进行领域自适应的方法，并展示了该方法在传统深度学习图像数据集（如MNIST 和 SVHN）以及OFFICE基准数据集上的实验结果，结果显示该方法显著提升了此前的最新精度水平。

背景

方法

实验