重要！！！ 改进 梯度方差（Fisher 信息近似） 指数移动平均

目录

• • 改进 梯度方差（Fisher 信息近似） 指数移动平均
  • • 1. 指数移动平均（Exponential Moving Average, EMA）
    • 2. 引入正则化项
    • 3. 分簇加权计算
  • 一、指数移动平均（EMA）概述
  • • 二、EMA 公式参数作用
    • 三、举例说明
    • • 场景 1：股票价格波动分析
      • 场景 2：深度学习模型训练
  • 有时间t概念的样本平滑（前后数据有关系：对话）
  • • 一、数学优化方法：递推平均法（在线更新策略）
    • 二、参数含义与物理意义
    • 三、举例说明
  • 没有时间t概念，而是一次计算所有权重参数的偏导求平方加和求平均的，怎么优化