DPC-DQRL：动态行为克隆约束的离线-在线双Q值强化学习

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘 要：离线-在线强化学习旨在使用少量在线微调来提高预训练模型的性能。现有方法主要包括无约束微调与约束微调。前者往往由于分布偏移过大而导致严重的策略崩溃；后者由于保留离线约束导致性能提升缓慢，影响训练效率。为了改善上述问题，可视化对比分析两类方法的微调过程，发现不准确的Q值估计是影响性能的主要原因，并提出了一种动态策略约束的双Q值强化学习算法（DPC-DQRL）。（剩余23284字）

试读结束

目录
monitor