李沐 权重衰退代码实现【动手学深度学习v2】

权重衰减是最广泛使用的正则化的技术之一

首先，生成一些数据，生成公式如下：

我们选择标签是关于输入的线性函数。

标签同时被均值为0，标准差为0.01高斯噪声破坏。

为使过拟合的效果更加明显，我们可以将问题的维数增加到d=200， 并使用一个只包含20个样本的小训练集。

从零开始实现

下面我们将从头开始实现权重衰减，只需将L2的平方惩罚添加到原始目标函数中。

[初始化模型参数]

首先，我们将定义一个函数来随机初始化模型参数。