2024年生成式人工智能在新型电力系统建设中的应用报告

数智赋能新质生产力·助力新型电力系统建设2024年电力信息通信EPIC 新技术大会 生成式人工智能在新型电力系统 建设中的应用 谈元鹏 中国电力科学研究院人工智能研究所 2024年8月16日 CO目录ITSEPICT 挑战：电网之变缘起：智能之生 应用：技术之赋前瞻：未来之智 EPICT PARTONE 01 挑战：电网之变 Challenge:TheTransformationofPowerGrid 背景意义 随着源荷双侧不确定性的提升，电力系统的运行方式分散性持续走强、典型运行工况与设备故障缺陷难以穷举、数据驱动的认知推理精度难以满足业务要求，机理驱动的各类优化问题计算效率低下，电力系统的可观、可测、可控能力受到极大挑战 数字空间中的数字电力系统 新型电力系统精准感知 数据融合与共享新型电力系统可信认知 数字呈现引导优化 物理空间中的实体电力系统新型电力系统实时决策 2024年电力信息通信新技术大会EPI EPICT DARTTMO 02 缘起：智能之生 Genesis:TheGenerationofIntelligence 技术演进-生成式人工智能技术突破带动行业应用 2023年，以ChatGPT为代表的生成式人工智能技术在各界引发广泛热潮，以海量参数为最突出特 定向增发 点，其多模态学习、智能推理能力显著提升，生成式人工智能如何与行业深度融合应用成为大家重点关心问题。国家多次强调，结合电力等国民经济主体行业，打造可融入行业生产系统的大模型典型应用 生成式人工智能的技术特征 模型性能会出现阶跃提升 模型结构 东方盛虹 公开发行 定向增发恒祥投资 训练数据多轮次半监督学习模式 算力需求 E)TruthfulQAG)MultitaskNLU(HDWordin 适用范围多任务、多场景 定向增发 开发效率 模型精度 本页内容由大模型辅助生成 技术演进-生成式人工智能技术突破带动行业应用 2024年2月16日，OpenAl发布了文生视频大模型Sora，根据用户的文本提示生成最长60s的高保 真视频，被比作视频生成领域的GPT-3时刻， Sora具有的能力 文本到视频生成能力 复杂场景和角色生成能力 语言理解能力 多镜头生成能力 从静态图像生成视频能力物理世界模拟能力 本页内容由大模型辅助生成2024年电力信息通信新技术大会EPIC 技术演进-生成式大模型技术发展现状 总的来说，生成式人工智能是一个广泛的概念，涵盖了多种能够创造内容的人工智能技术。而大模型技术则是生成式人工智能中专注于某一方面能力优化的子集，具体包括视觉大模型、语言大模型多模态大模型以及科学计算大模型等通用基础大模型的呈现形式。 非给约化写作（阅带得，营销文本等，第要一定邮感和个性化） 作（新热等，有批理）《太空歌剧院》 耗财性写作（推荐相关内落、帮胎润急，不需于严格AIGC）美国科罗拉多州博览会美术竞赛一等奖 交马式文本 文本生成机器人（以要/女发心理咨询等） 文本交互戏等（Aldungeon等） AIGC模态 音频生成文本生成特定语售（生质成系人题南/谨择等） 乐典/款典生成（包含作典及编曲，在实更意用中常色含自动作调） 高用工具（共降水印、提真分能家、特宝道镜等） 图像生成创急更参生成（机成按用特定黑生生质器作等）豫自主生位 功能性图修生成（概瞬用定婴求生成营销类净服，模特围，ogo等） 文享生成流示视续（提提围片索特生成视销） 跨模态生成文学生康包费视辅（完全从头生成特定主题视频） 圈像/视导文本（视微可落系统，自动配字幕/标题等） 本页内容由大模型辅助生成2024年电力信息通信新技术大会EPICT 技术演进-生成式大模型技术国外发展现状 2018年，OpenAI提出了生成式模型GPT-1，引领了大模型的研究热潮。之后谷歌、微软、英伟达、Meta等公司相继构建了PaLM、LLaMa等优秀模型，极大推进了大模型的研究进展。国内生成式大模型发展同样速度惊人，选代速度呈现指数级爆发。 CAICT中国信通院 通用基础大模型（LO） 电力行业大模型（L1） 本页内容由大模型辅助生成LI2024年电力信息通信新技术大会EPI 细分场景专业模型（L2) EPICT DARTTHREE 03 应用：技术之赋 Application:TheEmpowermentofTechnology 问题提出 中心2024年计划完成设备专业7类场景下64个专业模型建设工作，其中涉及大模型的共计7类场 景14个模型在数力、智力、法力三方面入手，推动基于公司行业大模型的细分场景模型（L2）建设 安监设备 业 智能化应用支撑大模型应用落地的三大优势： 强理解能力 ·强生成能力 行业视戏，请义、多模市，科学计尊大模型 透划，请义，多辅志，科学计期大蒙品 ·强信息集成能力 大模型应用落地的三大难点： 难以继承小模型研发成果，导致经济性不佳 ·大模型架构下如何边云协同，面临新的挑战 成熟产品（含公院内自研 GPU高性能荐桃业务逻辑边界难以学习，不利于安全性控制 2024年电力信息通信新技术大会EPIC11 数据准备 构建近干方级规模的电力设备影像库，包含可见光、红外、深度视觉三类图像，覆盖设备（输变配用）、基建、安监等业务场景，支撑电力行业视觉大模型微调优化（L2）。构建十亿级字符的 电力设备语料库，覆盖设备、基建、安监等业务场景主题词、概念、实体、属性以及切分后的百科知 识条目，支撑电力行业语义大模型微调优化（L2）。 红色：销钉缺销子蓝色：销钉带销子 绿色：销钉不需要销子 图像标注 大模型 核心业务知识 销钉销子脱落识别逻辑提示文本 找出在杆塔上，连接在 挂环上的，需要承重的， 识钉别销！是重否承缺销子 没有销子的销钉 2024年电力信息通信新技术大会EPICT12 科研工作-无人机智能巡检典型应用 针对部分无人机巡检模型不佳问题，提出面向无人机检影像的图融合推理技术，以提示文本 结合图像标注，解决核心业务知识引入的问题；研究基于混合专家（MoE）的电力视觉大小模型微调优化技术，灰盒模型联合优化，相比小模型识别精度提升9%，并在杭州、绍兴等地试点运行 Q：难以继承小模型研发成果，导致经济性不佳。类型可视缺陷类型准确率 1 销子脱落 96.1% 2 杆塔倾斜 96.2% 3 导线断股 95.5% 4 绝缘子污秽 94.52% ..... 可视缺陷类型 准确率 1 销子脱落 95.2% 2 塔顶损坏 94.6% 3 绝缘罩缺失 97.6% 4 法兰锈蚀 96.8% ..... A：以业务需求为导向，采用混合专家架构实现大小模型联合优化 输电可视缺陷 (21种) 类型 配电 可视 缺陷 (14种) 2024年电力信息通信新技术大会EPIC13 科研工作-无人机智能巡检典型应用 面向无人机实际应用需求，设计基于模型移位量化的存算一体芯片推理框架，平衡通用处理器算力与存算一体算力，并通过知识蒸馏与移位量化技术将大模型轻量化；研发即插即用、超低功耗、存算一体的机载边缘智能模组，实现单位功耗下的算力提升58% 超低功耗机载 特征边缘智能模组 信息 提示词 信息 推理计算边缘智能计算语言基础模块跨模态分析模块视觉基础模块低时延低功耗设备核心板LF2024年电力信息通信新技术大会EPIC14 科研工作-作业现场管控典型应用 基于多模态大模型中的图文融合推理技术，在云侧针对电力设备运检作业场景下的图像、文本数据进行联合分析，构建安全责任关联图谱、违章信息知识库辅助大模型生成工作建议；在边侧考虑大模型的蒸馏量化，在算力、供电受限条件下实现安全距离、隐患排查推理，支撑大模型边云协同应用 Q：大模型架构下如何边云协同，面临新的挑战 A：以约束条件耳前提，采用任务切分+蒸留量化的方式解剖麻雀。 简要指述你发现的安全隐惠 GenerateCleai 根概期图环境，可以用斯这提电力作业现场，环确中有2个人。我发现了如下安全录惠：1限像中的两个人均未假股安全限，2.图像中的两个人均来正确穿航工装， 详细指送你发现的安全障惠（退排判断） 分析属盟环场，解够看到存在电力杆塔，配电线路等，国此可以判断这费个电力作业现场，格查环境中的安全障惠：1翻像中的满个人均未佩服安全相，可服导致人员在工作中受伤，2.图像上方的人来佩服手套，图像下方的人未穿版益色的工装，可能会道或安全事故， 2024年电力信息通信新技术大会EPIC15 科研工作-运检辅助决策典型应用 基于电力设备台账、图谱以及知识库，提出知识引导与知识嵌入的人机协同高质量指令构建方法；提出基于知识增强的大模型答案生成方法，提升模型准确性和时效性：并面向检修复杂业务逻辑，提出基于大模型的复杂任务拆解及执行方法，实现检修策略智能生成，生成准确率优于85% 生成结果成检修策略 Q：业务逻辑边界难以学习，不利于安全性控制A：以可靠性为目标，采用知识引导、知识嵌入等方式提升大模型可解释性答案汇总语义大模型生 文本分片 记忆握存库 长记忆格索 RatrievedAm KeysandVaue 任务调用 语义大模型 AnentionQueryfCurrentInputt 执行模型 Biilcontext 提问内客LLM模型子任适配模型/ LargeLangageModeResidualSidoNet选择务操作 相似文本 (Frozen) Connection (Trainable) 电力设备检修 返国结果ABCDYZ任务复杂系列下游子 长文本编入规划任务胜任务 大模型知识增强大模型长文本处理检修复杂任务推理及策略生成 2024年电力信息通信新技术大会EPIC16 科研工作-智能体调度 智能体调度是指基于大模型技术实现一种模型到应用的组织形式，通过任务拆解、任务编排、协同执行等技术研究，结合现有系统工具、接口及存量模型，实现大小模型协同应用模式体系，有望与国网公司人工智能“两库一平台”中的模型库进行融合应用。 基于大模型的电力智能体构建大小模型协同执行 长期记忆短期记忆小模型大模型 大模型 工具仓库 记忆（调度中枢） 小模型大模型 反思NM 调用大模型 （调度中枢） 规划自评估 大模型负责复杂任务分解、形成调用链、向对应小模型 系统接口思维链下发调用指令，总结小模型执行结果 知识摩 Query 子日标分解 小模型负责响应大模型指令，提供推理服务，向大模型 反馈推理结果 2024年电力信息通信新技术大会EPICT.....17 科研工作-智能体调度 肉智能体中心 38智能服务 算法仓库 算法训练02营理+注肝法+0编排异法类型奔法厂商 创意社区 一人员行为共21初楼型 未能安全相o在线VL.0.0未辆安全带●在线v1.0.0在线VL.0.0安全带风险识刷w1 ★★★治★★★★★真★★★★ 圆工作台 公共安全进路文源公共安全公共安全公共安全 智能体管理 知识数据安全相风险识别安监安全绳专高线变电变压器v1变电乌巢 数字资产应用管理用量统计设备管理 任务管理 算法解析数据公共安全公共安全公共安全公共安全 2024年电力信息通信新技术大会EPIC18 EPICT DARTFOUIR 04 前瞻：未来之智 Foresight:TheWisdomoftheFuture 总结与展望 想象一下，在不久的未来，当一位电力工程师面对错综复杂的电网数据，他不再需要耗费大量时 析故障、优化调度、控制设备。这将不是科幻小说的情节，而是生成式人工智能技术“照进”现实， 今天，就让我们共同携手探索这一未来之“智” 本页内容由大模型辅助生成2024年电力信息通信新技术大会EPIC20 数智赋能新质生产力·助力新型电力系统建设 2024年电力信息通信EPICT 新技术大会 感谢各位专家的指导！