李沐 权重衰退代码实现【动手学深度学习v2】
权重衰减是最广泛使用的正则化的技术之一
首先,生成一些数据,生成公式如下:
我们选择标签是关于输入的线性函数。
标签同时被均值为0,标准差为0.01高斯噪声破坏。
为使过拟合的效果更加明显,我们可以将问题的维数增加到d=200, 并使用一个只包含20个样本的小训练集。
从零开始实现
下面我们将从头开始实现权重衰减,只需将L2的平方惩罚添加到原始目标函数中。
[初始化模型参数]
首先,我们将定义一个函数来随机初始化模型参数。
权重衰减是最广泛使用的正则化的技术之一
首先,生成一些数据,生成公式如下:
我们选择标签是关于输入的线性函数。
标签同时被均值为0,标准差为0.01高斯噪声破坏。
为使过拟合的效果更加明显,我们可以将问题的维数增加到d=200, 并使用一个只包含20个样本的小训练集。
下面我们将从头开始实现权重衰减,只需将L2的平方惩罚添加到原始目标函数中。
首先,我们将定义一个函数来随机初始化模型参数。