梯度下降及优化算法研究综述

打开文本图片集

摘要：梯度下降法是机器学习算法中广泛使用的方法，特别是在神经网络中。本文首先概述了梯度下降法和其三种实现框架，描述其优缺点。针对算法训练时间缓慢的缺陷，首先从最经典且主流的梯度下降优化算法开始介绍，阐述研究动机、基本思想、其解决的问题，最后对比流行的梯度下降优化算法进行实验分析。

关键词：梯度下降法;机器学习;优化算法;发展方向

中图分类号：TP311        文献标识码：A

文章编号：1009-3044（2022）08-0071-03

引言

在机器学习领域中，因为有些目标模型的损失函数非常复杂，不能有效得到参数估计值的表达式。（剩余4973字）