深度学习-03 Pytorch

损失函数是用来衡量模型预测结果与真实值之间的差异，并用来优化模型的指标。在机器学习和神经网络中，常用的损失函数包括均方误差（Mean Squared Error，MSE）、交叉熵（Cross-Entropy）等。
反向传播（Backpropagation）是一种基于梯度下降算法的优化方法，用来计算模型中每个参数对于损失函数的梯度，从而更新参数以最小化损失函数。反向传播通过链式法则将损失函数的梯度传递回每个参数，从输出层向输入层反向计算梯度。具体而言，反向传播算法可以分为两个步骤：
前向传播（Forward Propagation）：将输入数据通过模型的参数计算出预测值，并计算出损失函数的值。
反向传播（Backward Propagation）：通过链式法则计算出损失函数对于每个参数的梯度，并更新参数。
反向传播的过程中，需要根据损失函数的类型来计算梯度。例如，对于均方误差损失函数，梯度的计算可以通过对每个参数的偏导数进行求解；对于交叉熵损失函数，梯度的计算可以通过softmax函数的导数进行求解。
反向传播算法的实现主要包括两个步骤：计算梯度和参数更新。在计算梯度时，通过对损失函数进行求导，得到每个参数的梯度；在参数更新时，根据梯度和学习率进行参数的更新。这个过程不断迭代，直到达到收敛条件或达到一定的迭代次数为止。

优化器是机器学习中一个重要的组件，用于调整模型的参数以使其最优化。在机器学习任务中，目标就是最小化或最大化一个特定的损失函数。优化器的作用就是通过调整模型的参数，使得损失函数的值最小化或最大化。
常见的优化器有梯度下降法（Gradient Descent）、随机梯度下降法（Stochastic Gradient Descent）、动量法（Momentum）、Nesterov Accelerated Gradient（NAG）、Adagrad、RMSprop、Adam等。