2024年适于电力系统的深度强化学习方法探索报告——张翔昱免费下载

适于电力系统的深度强化学习方法探索张 翔 昱电气工程学院，东南大学2024 年 10 月 @ 江苏省电工技术学会学习辅助型优化求解模型预测控制 + 值函数学习 ( 用作终端成本 ) 学习加速型 ADMM: 利用循环神经网络预测 ADMM 的收敛轨迹可微规划 (Differentiable Programming)利用深度学习框架 ( 如 PyTorch) 求解优化 问题原始 - 对偶可微预测控制 ( 考虑显式约束、 基于模型的策略训练 )混合式算法+ 结合两者优势( 无模型 ) 强化学习适于电力系统的策略训练方法： 全局 - 局部两阶段策略搜索 基于课程学习的策略搜索超算集群中的强化学习训练强化学习优势发掘 ( 如端到端考 虑不确定性的优化问题 )基于多代理强化学习的分布式优 化问题· 基于纯数据无探索的强化学习基于学习型优化方法+ 快速实时响应+ 对系统模型形式无要求十 学习需要大量数据最优性、约束无法严格保障关注问题电力系统中具有强时序相关性的多步决策优化问题。传统优化方法· 模型预测控制 (MPC)传统基于优化方法+ 最优性保障+ 显式约束表达十系统模型可能需简化 需实时计算前期相关研究概况1.1 强化学习背景 03相比于传统优化方法，基于强化学习的方法在工程应用中具有如下优势：√ 快速决策 √ 轻量部署 √ 适于复杂问题该问题可由马尔可夫决策过程 (MDP) 进行描述，包含状态空 间 S(st∈S) 、决策空间 A(at∈A) 、环境动态过程 f, 奖励函 数 R 等。针对多步长决策优化问题，通过训练获得策略 πg*(at|st), 也作 at=πg+(st)来最大化控制周期 (T) 内 的奖励期望为解决复杂电网问题提供了新方法atRLAgentπg·(at|st)EnvironmentSt+1=f(st,at,()rt=R(St,at,St+1)强化学习概念St t