基于自适应动量更新策略的Adams算法

打开文本图片集

摘要：Adam算法是目前最常用的优化算法之一，但其面临学习率震荡导致模型不收敛问题，其改进算法AMSGrad也存在梯度递减导致的二阶动量失效问题。针对上述问题，提出了基于自适应动量更新策略的Adams算法。首先，通过为一阶动量和二阶动量引入自适应更新参数，并在最后的参数更新期间采用较小的一阶动量更新参数，构建了一种自适应的动量更新策略。（剩余9449字）

网站仅支持在线阅读（不支持PDF下载），如需保存文章，可以选择【打印】保存。