数据驱动的电网前瞻优化调度

Eltas EnergylntelligenceLaboratory 清华大学电机系·智慧能源课题组 数据驱动的电网前瞻优化调度 钟海旺 清华大学电机系 清华四川能源互联网研究院 2023年5月13日 中国·银川 清华大学电机系·智慧能源课题组 提纲 EnergyIntelligenceLaboratory 1研究背景 2基态下的电网前瞻调度模型 3适应不确定场景的迁移强化学习决策 4结语 2 1.1新能源装机容量不断增长 中国风电、光伏累计装机容量（万干瓦） 40000 Eltas 清华大学电机系·智慧能源课题组 EnergyIntelligenceLaboratory 35000 32910 34990 34450 30000 28153 30788 25000 25343 2000018426 16400 17463 21005 20468 15000 14747 1307513042 10000 5000 2957.55 4623.31 6142.33 9657 7651.687631 4218 2486 759.941588.65 341.06 2.525.62222.38 20092010201120122013201420152016201720182019202020212022 ■风电装机■光伏装机数据来源：中国电力知库 1.2人工智能技术蓬勃发展 >人工智能方兴未艾，已在图像识别、自然语言处理、自动驾驶、医疗影像、语言搜索等 EnergyIntelligenceLaboratory 清华大学电机系·智慧能源课题组 领域得到应用ChatGPT 》深度、强化学习等人工智能技术正悄然向传 统能源行业进军，已在可再生能源预测、负 荷预测等领域得到应用 ARTIFICIALINTELLIGENCE lligen MACHINELEARNING DEEPLEARNING 如何与优化调度相结合？ asedonDeep O 1.3人工智能技术支撑电网优化调度 口传统电网调度面临的挑战 源荷双侧不确定性，加剧了短时优化决策的难度 电网调度对象数量急剧增加所带来的复杂度，对优化决策的效率提出了挑战 随机多运行场景下，电网调度智能化水平有待进一步提升 口人工智能技术对优化调度的影响 rgyIntelligence 清华大学电机系·智慧能源课题组 自适应性 智能性 智能性：敏捷地、自适应及通用化地完成从数据变化到统计模型参数改变的过程快速性：可离线地拟合逼近、泛化调度决策流程中输入输出的映射关系，无需在线 快速性解析并选代优化 清华大学电机系·智慧能源课题组 提纲 EnergyIntelligenceLaboratory 1研究背景 2基态下的电网前瞻调度模型 3适应不确定场景的迁移强化学习决策 4结语 6 2.1多时段滚动电网前瞻调度模型 EnergyIntelligenceLaboratory 清华大学电机系·智慧能源课题组 口包含自标函数、决策变量、约束条件的安全约束经济调度（SCED）及安全约束机组组合 （SCUC）问题 实际执行点 前瞻窗口t前瞻窗口什1前瞻窗口t+2 前瞻窗口内机组决策出力 决策体 前瞻窗口t对应预测负荷： Smin 实时负荷预测&准确性： 高低 前瞻窗口什1对应预测负荷： 前瞻窗口什2对应预测负荷： ..... 5ml 8:008:158:308:459:009:159:309:4510:0010:1510:3010:4511:0011:1511:3011:4512:0012:1512:3012:4513:00 2.1多时段滚动电网前瞻调度模型 口目标函数、输入量、决策变量、约束条件 输入量节点负荷+新能源出力预测 决策变量机组有功出力 目标函数发电+启停成本最小 EnergyIntelligenceLaboratory 清华大学电机系·智慧能源课题组 功率实时平衡 机组出力上下限 约 束新能源出力 pGminPG≤PGmax,Vi,tOgmin≤O≤OGmx,Vi,tPpGmm=0 1=r=0 机组启停状态相关约束 I..GmnPG≤IGmax,t,eGm PG"-PG-≤I.,RmA+PGmn(I.,-I.)+PGm*(1-I..) +PG/-PG-≥-IRminAT+PGmn(U,-)-PGmx(1-I) 条[G-PG≤Rma*At+PGm(-I.)+PGma*(1-Irt) 件 机组爬坡约束 -Rm"≤PGt-PG≤Rm*N.t+I.Vi.t-...T- Rm"N≤PG-G"≤Rm"=,Vi,=...-1SCUC 线路潮流约束pi. Ima+8 <1,Vj.t 节点电压约束SCED 8 2.2基于深度强化学习的电网前瞻调度模型 口状态输入空间、动作输出空间、奖励函数的设计 L,[,...'] EnergyIntelligenceLaboratory 清华大学电机系·智慧能源课题组 状态StateS,=[L,,L'j,..,Lr-,A.-] Lmax-Lmin 动作ActionA,=[a,a,..a'"]a,=[a.,a2...,aNt] 奖励Reward r=r mainper 标准化处理过程 d.,-[ai.(PGmx-PGmm)+(PCm+PGmm) 主线奖励函数（发电成本最小） =W (max(PG-PGimx,0)+max(PGmin-PG,0) +pen=W>Z(max(0*-0Gmax,0)+max(0Gmin-0,0) =01=1 =W32 =01 惩罚项 =WZmax-1,0) T-07-1Imax+c =WsZ(max(v..-vmax,)+max(vmin-v.)) 9 2.3深度强化学习算法的选择 EnergyIntelligenceLaboratory 清华大学电机系·智慧能源课题组 口改进深度确定性策略梯度算法（DeepDeterministicPolicyGradient，DDPG） 在传统DDPG算法的基础上增设“良好经验存储InputLayer1Layer2LayerLOutput 池”使智能体向满足安全约束的方向探索，从而缩短+y2神经网络结构： 训练探索时间.....全连接神经网络 环境般经验良好经验存 (sapr,s+1,done) 存储池储池 批次采样V InputOutput LayerHiddenLayersLayer (Se,re,St+1) +噪声batch_size*(si,ai,r,Si+1)采用的两种激活函数： 优updatee T(Se) losse updateo优 relu 化ActorCritic 器J(0) 软更新 T(S) 软更新J(o)化器 -3-2-1123 tanh 元(S1+1) TargetActorTargetCritic 3-2-1012m 10 2.4多时段滚动前瞻调度智能体训练方式的设计 口多时段滚动前瞻调度智能体训练框架 EnergyIntelligenceLaboratory 清华大学电机系·智慧能源课题组 Agent环境 母线负荷、 可再生能源 出力等 读入t时刻（所在前 瞻时段窗口内所有 各个机组以PG作为边界条件计算 的出力PG（所在前瞻时段窗口内 所有时刻）的潮流分布 步骤=1时刻）的状态St并根据系统发电成本 Agent给出S下选潮流越限情况计算取的动作 步骤=步骤+1 Reward 在经验回放池中采样，以此对 将状态、动作、奖励存入经验回放池 从数据库中滚动读取下一个前瞻时段 Agent进行训练窗口的数据 11 2.4多时段滚动前瞻调度智能体训练方式的设计 口智能体训练方式的设计 输入状态 ltals EnergyIntelligenceLaboratory 清华大学电机系·智慧能源课题组 根据智能体训练方式不同，可分为：多时段联合多时段拆分 多时段联合优化训练方式（仅适用于 statelstate2stateTstatelstate2stateT 小规模系统，一般收敛时间较长神经网络神经网络 输入：（节点数+机组数）*T输入：节点数+机组数； >多时段解耦优化训练方式（适用于输出：机组数*T输出：机组数 大规模系统，缩短训练收敛时间） actioniaction2actionTactioniaction2actionT 输出动作 12 2.4多时段滚动前瞻调度智能体训练方式的设计 口神经网络参数的初始化-预训练环节 EnergyIntelligenceLaboratory 清华大学电机系·智慧能源课题组 采用历史调度数据进行深度 (St,rt,St+1) 环境股经验良好经验存 (si,a,rusi+i,done)存储池储池 a批次采样VV 噪声 学习，以初始化Actor以及 元(St) batchsize*(si,ai,ri,Si+1) Critic网络参数，使之更加合理 从而提高价值网络Critic的精度 智能体探索到可行解的概率 优化器 updateeupdate losse ActorCritie J(0)T(S)J(o) 软更新 r(Si+1) TargetActorTargetCritic 优化器 历史调度经验 初始化网络参数 13 2.5融合模型驱动的多时段前瞻调度智能体训练 口融合物理模型的不平衡量分配 EnergyIntelligenceLaboratory 清华大学电机系·智慧能源课题组 为了解决大规模系统复杂度增加的问题，在网络参数预训练的基础上，研究数据与模型联合驱动的方法提出机组越限量与系统不平衡量分配的环节：机组的有功功率及爬坡越限的功率调节、系统不平衡有功功率的 分配。火电机组爬坡越限计算爬坡不平衡量分配后机组出力和与对应时刻总负荷量的差异 火电机组越上限火电机组越下限 计算所有机组对应的成本函数在 越限的火电机组动作越限的火电机组动作发电功率处的切线斜率大小 |越限量+越限量 结合各机组可调节容量按照其切 线斜率由低到高进行不平衡量的 更新越限的火电机组更新越限的火电机组按比例分配 最大上调量(为0)最大下调量（为0） 更新经过不平衡量分配过后的机组出力 14 2.5融合模型驱动的多时段前瞻调度智能体训练 口智能体与环境交互示意图 Ellals EnergylntelligenceLaboratory 清华大学电机系·智慧能源课题组 节点负荷、上一个窗口机组出力组成的State DDPG:DDPG正式训练 Actor 前瞻窗口内机组出力奖励 不平衡量分配参数Reward 更新不越限 经验 般经验 回放池 强化学习采样 复网络 采样数据 Batch 制电网运行环境 预训练 网络经过不平衡量分配过后 DDPG正式训练 开始前 O的前瞻窗口机组出力历史OPF调度 经验 15 2.6算例分析 测试系统：IEEE-30节点系统 系统基本参数 Eltas 清华大学电机系·智慧能源课题组 EnergyIntelligenceLaboratory 节点总数NBus 机组数量NGen 支路数量NLime 30 6 拓扑结构 41 32MW323W 类别名称 IEEE30 机组发电成本 300 gen1=0.02x~2+2.0x+0.0gen2=0.0175x~2+1.75x+0.0 250gen3=0.0625x~2+1.0x+0.0 Q gen4=0.00834x~2+3.25x+0.0 发gen5=0.025x~2+3.0x+0.0 电200gen6=0.025x~2+3.0x+0.0139 成11 632MW S5M断面限额：40MW 10 150229 美100 元 H 1415 10417 50 T18 10203050607080152526 机组有功出力/MW 16 2.6算例分析 机组前瞻调度结果 Gen#0Gen#1Gen#2Gen#3Gen#4Gen#5 EnergyIntelligenceLaboratory 80 有功功率 /M W20 训练时长与成本分析 20406080100 时间间隔/15min 清华大学电机系·智慧能源课题