行业研究公司研究宏观策略财报招股书会议纪要 Token 低空经济十五五 AIGC 大模型

2024年基于大语言模型的新型电力系统运行与仿真初探报告

信息技术 2024-12-23 - 香港中文大学（深圳） SaintL

研报总结

引言：AI发展历史与趋势

AI近代史与现代史回顾，重点阐述LLM（大语言模型）的发展历程。
LLM的兴起原因：早期NLU类模型（如BERT）提升了任务水平，而NLG效果尚未达到惊艳程度，NLU类模型进入“难啃的骨头”阶段，研究热度降低。
大模型降低行业准入门槛，以ChatGPT为代表的LLM通过指令交互形式使人人都能体验AI，生成、交互类任务效果达到“效果阈值”，模型生成内容出现“智慧涌现”现象，被视为通用人工智能（AGI）的曙光。

大语言模型技术背景

语言模型简介：LLM架构及训练过程。
LLM架构与训练：
- 预训练阶段：学习文字接龙（prefixLM），无需标注，自监督。
  - 预训练模型三要素：大数据（知识来源）、大模型（容纳大数据的载体）、大算力（并行计算集群）。
- 微调阶段：
  - 赋予LLM逻辑能力：通过代码示例和思维链（Chain of Thought）实现。
  - 赋予LLM思考推理能力：结合思维链提示（Chain-of-Thought Prompting）和标准提示（Standard Prompting）。
问题与挑战：LLM可能输出有毒、有偏见、刻板印象、虚假或歧视言论，需要通过人类反馈对齐（align）模型回答。
从人类反馈中学习：量化人类喜好，结合强化学习提升模型表现。

展望与应用

大模型的核心能力：数学建模与公式推导。
大模型在新型电力系统中的应用思考：
- 机器代人：机巡、客服、公文写作等场景。
- 工作流重构：调度运行规划。
- 信息-物理-社会系统（CPSSE）仿真/数字孪生。
- 多模态数据融合：数字化服务。
- 电力系统机理研究（AI4S）。
技术路线：因果模型+大模型+小模型融合，调度运行等领域大模型尚不能完全替代人工，需结合因果模型。
基于大语言模型实现高适应性负荷预测：
- 传统方法局限：难以应对特殊事件、新场景，无法基于文本数据预测。
- ITA-LF框架：LLM基于语言处理多源数据，通过Agent筛选实时新闻并理解文本逻辑，提升预测适应性和精确度。
- 预测效果：优于现有方法，在不同时间和地理维度适应性强。
调度大模型研究：
- 背景：将调度、市场行为语言模型化，解决传统调度支撑体系中调度行为建模工具缺失问题。
- 数据处理：领域数据集、训练数据集、业务场景支持、评测体系。
- 效果验证：调度相关问题在逻辑性、稳定性、安全性上表现优于ChatGPT，多人指标接近ChatGPT。
信息物理社会系统仿真/数字孪生：
- 大模型“智能涌现”表明复杂系统研究需超越还原论框架。
- 结合真人、因果模型和大语言模型实现人机混合仿真。
- 大模型推理可靠性问题，现阶段“人机混合智能”是最佳方案。
- 最终目标：通过CPSSE对实际系统反馈，构建大模型驱动的数字孪生。
传统经济学仿真面临的困难：动态博弈求解难度大、泛化性差。
大模型经济学仿真的潜力：
- 推理能力：理解复杂博弈策略。
- 泛化能力：快速适应市场变化。
- 代理模拟：结合多代理仿真模拟市场行为。
大模型智能体：
- 构建调度员与智能体高效沟通协议，包括规划、反思、多智能体协作。
- 智能体记忆数据库选型：FAISS、ElasticSearch、MyScaleDB。
基于大模型的市场仿真：
- 训练数据：多场景多模态数据，提示语工程模拟电力交易员环境。
- 构建专家混合MoE大模型框架，针对不同市场主体训练决策大模型。
AI4S是未来的蓝海：
- AI4S结合人工智能、高性能计算及先进数学工具，推动科学研究和工程领域复杂问题的高效解决。
- 电力系统物理机理转型，建模与分析基础理论需重构。
- 大模型辅助科学问题机理研究是未来趋势，如动态建模、稳定性分析、电力市场博弈均衡等。