朗新研究院 2023年6月 朗新研究院 朗新研究院 2022年年底,OpenAI自然语言生成模型ChatGPT爆火,它能胜任高情商对话、生成代码及各类复杂专业工作,可谓披荆斩棘,将人机交互推向新高度,激发了国内外企业争相拥抱AIGC,百度、阿里巴巴等国内众多企业相继推出大语言模型,整个行业风起云涌,热情高涨。 AIGC已经在新闻、广告、文学等领域快速应用,并不断向千行百业纵深渗透。在提高生产效率同时,不断地降低生产成本。 在此背景下,朗新研究院推出《AIGC驱动电力营销生产力变革洞察》研究报告,对ChatGPT大语言模型背后所代表的AIGC技术演变及商业变革进行分析,结合长期电力营销领域沉淀,对生成式人工智能引发的电力营销生产力变革进行洞察分析,探讨AIGC技术对服务体验、业务运营、管理决策、市场交易和负荷管理等方面带来的变革,结合朗新AIGC探索实践提出电力营销中AIGC创新实践的七个要点,并对AIGC融合后的电力营销发展趋势进行展望。 2 Contents 朗新研究院 3 朗新研究院 人工智能发展迎来新拐点 AIGC时代来临 4 资料来源:国泰君安证券研究,国海证券研究所朗新科技整理 1950年,艾伦·图灵提出著名的“图灵测试” 1966年,世界第一款可人机对话 机器人“Eliza”问世 80年代中期,IBM创造语音控制 打字机“Tangora” 始于1950s 感知式AI 始于1960s 分析式AI 决策式AI 生成式AI 始于1970s,分析之后,进行智能决策;近年才真正兴盛 始于1980s,起源于分析式AI,生成新的内容;2022年迎来突破 2014年,LanJ.Goodfellow提出生成式对抗网络GAN 2018年,英伟达发布StyleGAN模型用于自动生成高质量图片 2019年,DeepMind发布DVD-GAN 模型用于生成连续性视频 2022年,OpenAI发布ChatGPT模型 用于生成自然能语言文本 2007年,世界上第一部人工智能创作的小说《1TheRoad》问世 2012年,微软展示全自动同声传译系统,可将英文语音自动翻译成中文语音 A典 I型 G事 朗新研究院 C件 深度学习算法不断迭代,人工智能生成内容百花齐放 AIGC从实验性向实用性转变,受限于算法瓶颈,无法直接进行内容生成 受限于技术水平 AIGC仅限于小范围实验 A发 I展 G特 C点 A I分 G类 沉淀积累(弱人工智能) C 早期萌芽 人工智能总体阶段 1950s—1990s中期 1990s—2010s中期 2010s至今 快速发展(强人工智能) 5 预训练模型串联融合 20142021 AIGC 朗新研究院 2017 RLHF 人类指令微调基 反馈础 信号 直接能 优化力 语言人类反馈泛 模型化 语言模型 GPT3.5 将现实物理世界中 数字世界复刻一遍 将数字世界的化身 数据进行修改编辑 对抗生成网络GAN 跨模态深度学习模型CLIP 神经网络Transformer 扩散化模型… Diffusion 高效生成人类可以 理解的数字内容 强化学习 图像生成语音合成图像生成语音合成语言模型图像生成 6 1995-1997年Google带来的拐点变化: 朗新研究院 获取信息的边际成本开始变成固定成本互联网范式出现:信息无处不在 模型参数量到达10亿量级、计算量到达10^24量级,任务表现性能突变,大模型出现超出预期的新能力 2022年-2023年OpenAI带来的拐点变化:获取模型的边际成本开始变成固定成本 新范式出现:模型知识无处不在 7 信息来源:浙江大学《新一代人工智能与预训练大模型导论》、陆奇4月份上海演讲《我的大模型世界观》 朗新研究院 生成式人工智能为电力营销带来创新力量 8 朗新研究院 9 需求 朗新研究院 大语言模型 客户服务 人员 受理 10 业务系统 业务系统 服务 API 服务 API 第三方 服务 API 服务 API 问题模型 应用调用 任务理解 智能决策 自动编排 自动执行 11 人大模型 定制化普适化 模板化自然语言动态输出 静态动态 经验主导引导发现 图谱化Prompt化 多阶段多轮次对话主观推理机器智能 滞后反馈实时反馈 供电方案制定 退费方案制定 …… 朗新研究院 启发思路拟人化分析输出 营销业务健康水平分析决策 思路“Prompt化” 创造性内容生成 输配电价政策影响分析决策 …… 市场竞争策略调整 市场化损益分析决策 …… 实时交互反馈 AI大语言模型 快速响应、秒级输出 非线性和复杂关联关系发现 12 具备更强语言理解能力,能进行多角度复杂推理 具有更广泛通识知识、更具创造力 合理回答并最终以人类语言形式呈现 电价政策解读 交易规则培训 市场机制优化建议 政策智能解答 政策脉络分析 政策规则对比 结构化呈现 信息不对称 信息理解不足 信息获取缺乏高效便 捷服务体验 市场信息实时归集, 整合市场信息知识库 交互式对话\成图 所言既所得 交易专业能力 朗新研究院 曲线预测准确性 量价申报策略 品种组合&持仓结构 交易复盘 生成式分析 数字化交易策略师 最优交易策略推演沙盘 交易建议实时生成 业务合规管理 服务、舆情、经营风险 信息披露合规智能 价格波动风险识别 费用分摊合规智能 数据寻证及证据链生成 合规监管报告一站式输出 用电成本分析等各类分析报告、报表编制耗时、强依赖专家经验 所言即所得 异常溯源复杂性关联 发现 对话式成表、成图、成报告 13 资源识别资源聚合资源运营 体验变革生产力变革商业变革 语义筛选 资源对象 网 荷 “智” “高” 体验变革生产力变革商业变革 朗新研究院 储 潜力评估 对话识别 潜力用户 源“新” “快” 充 最优基线 聚合方案 即时决策 “广” 无所不在 低成本 专业深度 指导性 “自” 价格策略 .......... AIGC能力输出........ 基础大模型领域小模型 14 任“AIGC驱动营销全业务智能迈入新航程” 务•AIGC的智能化应用融入核心业务流程及企业经营各环节, 复并带来全新的运营模式变革和商业价值创造 杂 度 朗新研究院 “AIGC生产力全面迸发” •AIGC与营销各领域将发生“化学反应”,业务流程与工作环境的AIGC创新百花齐放。例如业扩的方案制定、设计图纸审核、合同智能校核、电网资源交互式问答等 “全面拥抱AIGC时代” •从文本、文档等具有自然语言特性的相关业务环节开始,探索基于AIGC的“读”、“写”“说”、“问”等创新应用,例如政策对话式解读、报告智能编写、智能问数等 模型成熟度 电力营销AI应用创新始终适应AIGC时代发展 15 朗新研究院 电力营销AIGC创新实践七要点参考 16 沉淀电力营销领域 朗新研究院 Prompt应用方法 创新大模型应用方式 辨析垂直领域大 模型应用思路 选择垂直领域大模型训练方法 选择电力营销领域预训练大模型 准备电力营销领域大模型训练语料集 创新电力营销 领域应用场景 17 AIGC+客户服务AIGC+营业计量AIGC+抄核收AIGC+负荷管理AIGC+市场交易… AI 中间件 Prompt 引擎 语义向量引擎 向量存储/查询引擎 任务执行引擎 LLM 语义缓存 … 应用 支撑 上下文对话管理 用户指令生成 语义索引 任务规则 任务组件 … 文本情感分析 知识搜索 数据解读 工作助理 报告编制 摘要生成 管理预警 问答系统 异常查处 指标提炼 问题归因 地图语音导航 流程自主 … 确定领域目标 选择预训练模型 准备领域语料 模型训练与评估 结合 Prompt领域应用 朗新研究院 通用大模型 领域大模型 CPU GPU DPU TPU FPGA ASIC 18 大模型 /机构 开源 量 GPT OpenAI × 175B 大量采用RHLF技术,训强化语言和代码生成,对内容理解练模型生成符合人类偏好更完善,多语言支持,多模态,更的内容长的上下文相关性 自然语言处理任务,如问答系统、自动翻译、文本生成等 PaLM GOOGLE × 540B 采用深度学习技术,包括语言理解、逻辑推理以及代码生成注意力机制、残差连接、等有优势,具备集成语言、视觉,预训练等用于机器人控制 自然语言处理任务,如文本分类、命名实体识别、语义匹配等 LLaMA Meta √ 65B 使用基于transformer架生成对话、文本生成、自然语言理 构并大量调优解等 各种自然语言处理任务,如文本分类、问答系统、自然语言理解等 可扩展性 可定制性 训练资源 与成本 一言 文心百度×5000B 监督精调、人类反馈的强化学习、知识增强、检索增强 端到端优势,中文语言处理具备独特优势,搜索技术能力加持,推理更强 自然语言处理任务,如问答系统、自动翻译、文本生成等 通义千问 阿里巴巴 × 1000B 自主研发的超大规模语言模型 文本分类、命名实体识别、语义匹智能回答问题、创作文字、配等具备优势,多个领域广泛的应表达观点和提供个性化服务用,迭代迅速等,垂直领域场景化应用 安全与隐私 M-6B ChatGL清华大学√60B 自监督预训练、多任务预 训练 支持文本分类、问答系统、自然语言理解等,轻量级,支持中英双语对话,国产自主,降低部署门槛 各种自然语言处理任务,如文本分类、问答系统、自然语言理解等 性能和能力 预训练 公司 是否 参数 技术特点 优势能力 适用性 朗新研究院 19 要点三:选择垂直领域大模型训练方法 朗新研究院 正面影响 性能改进:更适应领域任务,对齐人类意图 任务泛化:完成未见过的指令 负面影响 灾难性遗忘或过拟合:忘记原模型学习到的内容,影响原模型的效果 工程应对 数据质量 平衡不同任务的比例 学习率等参数的调整 模型训练微调方法(示例) 20 数据收集 数据清洗和预处理 数据标注 数据增强 数据划分 数据平衡 法规文件类 •法律法规 •政策文件 办法规范类 •管理办法、业务流程、业务规定 •考核办法、业务要求、操作规程 客户记录类 •客户各类需求申请记录,咨询、投诉情况等 •与客户电话交流、在线聊天、电子邮件等。 先进实践类 •公司历史先进实践 •行业案例先进实践 异常处理类 •管理漏洞、业务错误、违规处置 •设备故障、 朗新研究院 数据存储和管 理 数据与设备 •常用术语、标准地址、标准代码、指标库 •… 21 问题引导上下文引导格式化引导 数据示例引导 多轮对话引导 ··· 提供一个明确的问题描述作为Prompt,引导模型生成与问题相关的答案或解决方案。 Prompt 设计 Prompt 样例 示例:“拟定一份需求响应方案,请注意拟定过程中要兼顾“有保有限”原则。” 朗新研究院 提供相关的上下文信息,帮助模型理解特定情境并生成相应的内容。示例:在某地发生大面积停电后,根据市场需求生成一份恢复供电计划 Prompt 优化 指定期望的输出格式或模板,要求模型按照指定的格式生成内容 示例:请按模板格式提供季度分析报告,内容包括市场分析和推广策略等 提供一些数据示例,要求模型根据这些示例生成相似类型的内容 Prompt 工程化 示例:根据过去三年电量数据,预测下个季度的电力需求量,并提出相应的需求响应策略 模拟多轮对话场景,将前面对话内容作为Prompt,引导模型生成后续回复或建议示例:用户:我想了解本月的电费结算情况;客服:请查询客户近几个月的电量情况...请为用户提供经济的用电策略建议。" Prompt 权衡 ··· 22 从等工作中需要分析思考创作的高频场景入手,运用AIGC技术解决工作中存在的痛点需求。 自主