一种具有梯度预测和动态学习率边界的深度神经网络训练算法

打开文本图片集

中图分类号：TP301.6 文献标识码：A 文章编号：1673-260X（2026）03-0062-09

深度学习是机器学习中至关重要的领域，近年来越来越受欢迎，已广泛应用于图像处理、语音识别、自然语言处理等领域[1]。可以将深度学习中的模型训练视为优化问题[2]。在现代神经网络中有多种优化方法来解决这个问题[3]，例如牛顿的动量方法、带有动量的 SGD、自动计算超梯度[4]，通过加速随机梯度的下降来提高收敛速度;也有Adagrad、 Adam[5] Adamw这些自动调整学习率的自适应方法。（剩余7160字）