2024年科学智算支撑能源系统运行的应用初探报告

郭庆来教授清华大学guoqinglai@tsinghua.edu.cn 致谢：周艳真博士、博士生曾泓泰、张佳琛 研究背景 随着“双碳”战略的提出与实施，风、光等新能源大力开发利用，我国电力和能源产业格局发生深刻变化，为能源系统运行带来严峻挑战 电力系统内部：高比例可再生能源、高比例电力电子，双高特性 电力系统外部：热网、气网等多类能源系统互联集成和互补融合 研究背景电力系统运行的挑战 海量新能源广泛接入，电力系统结构和特性机理发生重大变化，传统基于专家经验的方法越来越难以为继 研究背景多能流系统运行的挑战 多能协同调控是实现双碳的重要途径，但多能流系统的热、气网数字化水平相对低，动态模型复杂，传统数值方法难以满足在线应用需求 实际案例： 以吉林省长春市供热系统为例，根据现场调研，其量测采集系统上传数据的采样间隔为15min除热源、换热站外的管道流量、温度量测大多缺失，且量测噪声较大，坏数据较多。 实时量测采样间隔大、量测配置相对较少 研究背景 共性难题：复复杂科学计算问题 物理对象：高维、复杂的非线性动力学系统 数学模型：非线性方程、常微分方程、偏微分方程等计算问题：数学建模与预测、仿真求解、系统优化等 研究背景 共性难题：复杂科学计算问题 吸需引入人工智能辅助电力系统和多能流系统运行涉及的科学计算 研究背景 研究背景 人工智能科学计算，即科学智算，是利用人工智能对科学问题进行智能计算和分析的新兴技术范畴，已经取得了诸多进展和应用 NeuralGCM模型进行天气预测以及气象模拟[5] 研究背景 科学计算使用的人工智能算法往往将AI与科学知识进一步结合，从而使AI足够强大，更具通用性和可解释性 将科学知识引入人工智能的三种方式[1] Level o一无约束 Level 1-一弱约束 Level2——强约束实施方式：直接在人工智能模 实施方式：通过损失函数间接地将科学知识引入模型训练中可部分约束模型，但不会硬性要求其严格遵循约束 型架构中建立科学基本定律，使模型决策符合科学原理 实施方式：直接利用科学知识生成数据，相当于将科学知识嵌入到训练数据本身 方法举例：PINN利用微分方程作为损失函数的一部分，引导参数优化 方法举例：构建哈密顿或拉格朗日神经网络，使其结构符合某些物理守恒定律等 方法举例：利用仿真工具生成满足物理约束的训练数据 AI4S：AI与科学知识的双向增强 能源系统运行涉及各类科学计算问题，将科学智算引入能源系统辅助数学建模和计算求解，有助于提高A用于能源系统的科学性和适用性 我们对人工智能的期待是什么？ 本报告介绍的两个主题 AI4S在电力系统运行的应用 AI辅助的大规模机组组合高效求解 科学问题：复杂优化问题求解 问题背景 口机组组合问题的高效求解是保障电网安全经济运行的关键口机组组合变量约束规模巨大，矩阵数值条件差，3求解速度及精度要求高口迫切需要使用A加速机组组合，实现混合整数规划问题的高效求解 AI辅助的整体框架一一个直观的想法 口求解机组组合为AI提供数据集，使用监督学习训练AI预测机组状态（开/关）来解决MILP求解中最困难的部分，固定机组状态变量后通过求解更简单的优化问题来加速UC问题 监督学习训练AI固定启停变量 AI辅助的整体框架一一个直观的想法，但还不够 口然而，直接求解原始问题以获得高质量的解通常需要数个小时，并且数据生成效率很难满足神经网络训练所需的数据规模 需要更多训练数据如何改进这部分？ 1.1：基于割平面收紧的机组组合数据高效生成 口提出支撑大规模机组组合台的高质量数据高效生成方法，通过添加割平面收紧可行域，提升数据质量，同时也提高了数据生成效率 1.2：优化模型可行域收紧 口以最小连续开机时间约束为例进行说明 s.(t)(0,1)→发电机g在t时刻的开关状态y.()=(0,1)→发电机g在t时刻的启动动作z(0)={0,1)→发电机g在t时刻的关停动作 基线程序中的最小连续开机时间约束 1.2：优化模型可行域收紧 口以最小连续开机时间约束为例进行说明 s.()=[0,1]→发电机g在t时刻的开关状态y.(t),=[0,1]→发电机g在1时刻的启动动作z.()=[0,1]→发电机g在t时刻的关停动作 基线程序中的最小连续开机时间约束 求解器在求解时会先将整数变量10/1松弛为连续变量[0,1] 1.2：优化模型可行域收紧 口以最小连续开机时间约束为例进行说明 s.()=[0,1]→发电机g在t时刻的开关状态y()[0,1]→发电机g在t时刻的启动动作z()=[0,1]→发电机g在t时刻的关停动作 基线程序中的最小连续开机时间约束 UT=2时原问题可行整数解UT。=2时可行域极点UT。=2时可行域投影 1.2：优化模型可行域收紧 口以最小连续开机时间约束为例进行说明 s.()i=[0,1]→发电机g在t时刻的开关状态y,()=[0,1]发电机g在1时刻的启动动作z.()=[0,1]→发电机g在t时刻的关停动作 基线程序中的最小连续开机时间约束 更好的形式 UT。=2时原问题可行整数解UT,=2 时可行域极点UT。=2时可行域投影 收紧后的最小连续开机时间约束 算例验证 口相关数据生成方法应用于第五届南网AI竞赛，对基线程序中5类约束进行收紧共计约30万条，约占所有约束的50%口针对30天训练数据，均设置求解器相对容差1%时终止然后求解机组组合 技术成效 口相关技术用于2023年南方电网第五届电力调度AI应用大赛，在结果最优值与计算速度综合评分中获得第一名并夺冠，同时包揽了创新奖、可视化奖口相关技术获得阿里巴巴达摩院AIR项目《基于AI的新型电力系统大规模实时调 度增强技术研究》的继续资助 以数据为中心的大规模机组组合AI加速方法 报人：警温泰王静指导股都：绍庆来教授报单位：清华大学时间：2023年12月27日 1.3：用于满足一般线性约束的神经网络激活层 口神经网络广泛应用于约束决策与优化问题但简单的激活层只能编码简单的约束，可能导致输出动作不可行，无法满足实际应用需求 1.3：用于满足一般线性约束的神经网络激活层 口神经网络广泛应用于约束决策与优化问题但简单的激活层只能编码简单的约束，可能导致输出动作不可行，无法满足实际应用需求 1.3：用于满足一般线性约束的神经网络激活层 口当我们直接使用Sigmoid函数来预测机组的启停变量时，尽管能够使得预测结果位于[0，1区间内，但如果直接使用四舍五入后的结果固定机组启停，所有的优化问题都将变为不可行 X+X≤X一个简单的例子：一旦神经网络预测出的X，X，均大于0.5[X,x2,x, e[0,1] 则由于Sigmoid激活函数限制了x,E[0,1]，约束一定无法得到满足 Ax≤bA,x≥b,如何使得形如的一般线性约束能够得到满足？Ax=bn>x>,l 1.3：用于满足一般线性约束的神经网络激活层 口在神经网络输出结果后增加激活层将神经网络的输出动作投影到可行域内 1.3：用于满足一般线性约束的神经网络激活层 口如何添加激活层？层（两阶段预测后投影框架） 1.3：用于满足一般线性约束的神经网络激活层 口在获得神经网络预测结果后进行可行性投影，如果可行性投影不参与反向传播，模型训练只能最小化投影前的距离，很难保证拟合误差最小 1.3：用于满足一般线性约束的神经网络激活层 口如何添加激活层？更好的方法是让投影层参与反向传播过程（端到端预测后投影框架） 1.3：用于满足一般线性约束的神经网络激活层 影上的优化问题 更复杂的一股线性约束是否也能看作是向量投影的优化问题： 1.3：用于满足一般线性约束的神经网络激活层 我们考虑使激活层的输出满足一般的有界线性约束！通过添加松弛变量以及对变量做线性变换，我们可以将线性约束转换为标准型我们利用点积来度量前一层输出向量c与需要满足可行性约束的决策变量x的相似度，并将神经网络输出的投影问题重新表述为摘正则的线性规划问题，以使整个问题可微口在此基础上，我们可以证明该问题可以转化为一个具有Lipschitz连续梯度的无约束凸优化问题 1min-logJolog 1-Ax≤b,Ax≥b,Ax=b,l≤x≤uAu 1.3：用于满足一般线性约束的神经网络激活层 口如何在激活层的计算中利用GPU来进行高效求解？口在前向传播时，我们基于自适应原始-对偶加速梯度下降法，实现了可高效利用GPU且无需矩阵分解的批处理算法口在反向传播时，我们既设计了利用Pytorch自动微分机制直接求导的方法，同时也设计了基于最优性条件利用隐式微分及共轭梯度法的求导方法8 1.3：用于满足一般线性约束的神经网络激活层 现有相关方法存在效率问题或约束类型限制，难以适用于大规模问题 课题组提出GLinSAT的框架来使得神经网络的输出能够满足一般的线性约束，并且能够充分利用GPU的并行性从而实现高效前向传播和反向传播 算例验证 口在机组组合问题上，由于内嵌全部约束的复杂度等同于求解原问题的复杂度，因此考虑让神经网络在预测机组启停变量时须满足关键的刚性约束：最小连续开关机时间约束 口相比于现有的线性可满足层OptNet以及CvxpyLayers，我们的方法在训练过程中实现了十倍甚至百倍的加速，显著提升了内嵌约束神经网络的训练效率 口通过对端到端训练后的神经网络模型进行测试可以发现，投影层可以显著提升神经网络预测的可行性的同时保证一定的最优性 算例验证 口由于我们所提出的GLinSAT能够适用于一般的线性约束，因此除了机组组合以外，我们还将GLinSAT应用于旅行商问题（TSP），部分图匹配等问题来说明GLinSAT的有效性 口相比于现有的线性可满足层，我们的方法所需的显存更少，且能够在使得约束得到满足的同时实现显著的加速，从而提升内嵌约束神经网络的训练效率 AI4S在多能流系统的应用 模型-数据联合驱动的热网状态估计 科学问题：价偏微分方程求解 问题背景 口状态估计能够为多能流系统提供准确、一致的数据支撑热网作为多能子系统，其偏微分方程（PDE）约束难以直接求解口传统网格方法难以兼顾计算效率和精度，热网参数不准确导致传统模型驱动方法精度较低 解决思路-纯数据驱动方法存在缺陷 口纯数据驱动方法难以利用先验知识，导致样本利用率低，泛化性差。纯数据驱区动方法从大量给定的数据对中找到“输入-输出-映射”。如果训练数据没有覆盖特定区域，那就无法学习得到很好的映射。 纯数据驱动方法 如何将已知物理方程融入数据驱动方法？ 解决思路-PINNs 既然我们已知物理定律，那么我们是否可以像老师指导学生一样，将物理定律融入学习中，从而获得更好的解决方案呢？PINNs（Physics-InformedNeuralNetworks）在损失函数中引入了一个附加项，以表示输出满足物理定律的程度。 如何描述隐式解u和神经网络U之间的近似程度?（teachthestudent PDE一般格式（likeateacher）ut+N[u;a]=o,xE2,tE[oT其中u没有解析表达式 f = Ut + N[U;a]口将U代替u到PDE的左手项中以描述从方程中计算得到的失配量 在时空域中采样计算损失函数 解决思路-PINNS 国既然我们已知物理定律，那么我们是否可以像老师指导学生一样，将物理定律融入学习中，从而获得更好的解决方案呢？PINNs（Physics-InformedNeuralNetworks）在损失函数中引入了一个附加项，以表示输出满足物理定律的程度。 解决思路-PINNs 既然我们已知物理定律，那么我们是否可以像老师指导学生一样，将物理定律融入学习中，从而获得更好的解决方案呢？PiNNs（Physics-InformedNeuralNetworks）在损失函数中引入了一个附加项，以表示输出满足物理定律的程度