延迟回声状态神经网络用于复杂系统分析和应用

打开文本图片集

摘要：提出一种改进的回声状态神经网络模型，用于复杂系统的长期行为分析和预测，模型通过引入隐层状态的延迟反馈体现系统过去时刻的信息对当前状态的影响，避免了传统回声状态网络方法记忆能力弱的缺点以及获得最优参数的困难，

关键词：回声状态网络；混沌时间序列；储备池计算；稳定性；长期预测

中图分类号：0193文献标志码：A文章编号：1671-5489（2024）05-1017-05

Delayed Echo State Neural Network for Analysisand Application of Complex Systems

XU Yichen1，Eric Li2-3

（1.School of Information，Renmin University of China，Beijing 100872，China

2.School of Computing，Engineering&DigitalTechnologies，TeessideUninversityMiddlesbrough TS1 4，North Yorkshire，United Kingdom

3.College of Mathematics，JilinUniversity，Changchun 130012，China）

Abstract：We proposed an improved echo state neural network model for the analysis and prediction of long-term behavior of complex systems.The model introduced the delayed feedback of hidden layer state to reflect the influence of the past time information on the current state of the system，avoiding the shortcomings of weak memory ability and difficulty of obtaining optimal parameters in traditional echo state network methods.

Keywords：echo state network;chaotic time series;reservoircomputing;stability;long-term prediction

回声状态网络（ESN）是一种新型的回归人工神经网络（RNN）模型，由于其在复杂动态系统预测问题上性能优异，因此在科学和工程领域已引起广泛关注[4]，ESN的核心思想是先通过使用储备池（reservoir）将训练数据投影到高维特征空间中，然后通过读出权重将高维状态映射到输出数据，读出权重可通过线性岭回归算法计算，克服了使用梯度下降算法带来的梯度爆炸和梯度消失的困难[5-12]但现有的ESN模型所体现的系统特征随着时间的推移逐渐消失，在当前时间附近的输入特征显著，而对于远离当前时间的输入特征太弱而无法回忆，ESN模型这种重视短期行为导致记忆能力不足的特点限制了其解决复杂系统长期预测问题的能力.基于此，本文提出一种具有延迟反馈的回声状态网络模型（delay-ESN），通过考虑储备层中神经元的延迟效应，引入隐层状态的延迟反馈体现系统过去时刻信息对当前状态的影响，从而提高系统的记忆性能.

1回声状态网络

回声状态网络是一种特殊的回归神经网络模型，由输入层、输出层和储备池层组成.储备池层由大量随机相连的神经元构成，将输入信号映射到更高维度的状态空间.假设一个ESN的输入层包含D个单元，储备池层有N个单元，输出层有d个单元.若u（t）∈RD，x（t）∈RN，y（t）∈Rd分别表示外界的输入、储备池的输出及整个网络的输出，则储备池层节点的动力学可以表示为

其中Wm∈RNxD，W∈RNxN分别是输入-储备池层的权值和储备池层权值，这些权值随机产生并且在运行过程中不需要更新.整个ESN网络的输出为

这里[·；·]表示纵向串联.在回归任务中，f（·）通常为单位函数，W∈Rdx（N+D）可以通过岭回归算法计算[2.矩阵W的设计是ESN是否成功的关键，其主要受稀疏度和谱半径rm等参数的影响，其中稀疏度通常为10%～20%，谱半径通常被归一化为m<1以获得回声状态特性[2]。（剩余4607字）