《机器学习by周志华》学习笔记-神经网络-04全局最小误差与局部极小误差

1、神经网络中误差的概念及公式

 根据上文《逆误差传播算法》我们可以知道误差公式的演化：

        ① 第k个训练样例的误差函数：

        ②该训练集的累积误差函数：

        ③正则化误差目标函数：

其中：

• ：表示第k个训练样例的误差；
• ：表示连接权重和阈值任意参数；
• 根据上文我们可知需要确定的参数个数有：；
• ：表示所有连接权重与阈值参数的平方和；
•  &