基于分层强化学习的多智能体博弈策略生成方法

打开文本图片集

摘 要：典型基于深度强化学习的多智能体对抗策略生成方法采用“分总” 框架，各智能体基于部分可观测信息生成策略并进行决策，缺乏从整体角度生成对抗策略的能力，大大限制了决策能力。为了解决该问题，基于分层强化学习提出改进的多智能体博弈策略生成方法。基于分层强化学习构建观测信息到整体价值的决策映射，以最大化整体价值作为目标构建优化问题，并推导了策略优化过程，为后续框架结构和方法实现的设计提供了理论依据；基于决策映射与优化问题构建，采用神经网络设计了模型框架，详细阐述了顶层策略控制模型和个体策略执行模型；基于策略优化方法，给出详细训练流程和算法流程；采用星际争霸多智能体对抗（ＳｔａｒＣｒａｆｔ Ｍｕｌｔｉ-Ａｇｅｎｔ Ｃｈａｌｌｅｎｇｅ，ＳＭＡＣ）环境，与典型多智能体方法进行性能对比。（剩余10552字）