2024工商银行人工智能大模型白皮书

版权说明 工商银行人工智能大模型 白皮书 中国⼯商银⾏软件开发中⼼2024年10⽉ 版权说明 版权说明 本⽩⽪书版权属于中国⼯商银⾏软件开发中⼼，并受法律保护。转载、摘编或利⽤其它⽅式使⽤本⽩⽪书⽂字或者观点的，应注明“来源:中国⼯商银⾏软件开发中⼼”。违反上述声明者，我们将追究其相关法律责任。 前⾔ 前⾔ 产业变⾰，智能引领。习近平总书记指出，世界百年未有之⼤变局加速 演进，新⼀轮科技⾰命和产业变⾰深⼊发展，国际⼒量对⽐深刻调整，我国发展⾯临新的战略机遇。⼈⼯智能是引领这⼀轮科技⾰命和产业变⾰的战略性技术，具有溢出带动性很强的‘头雁’效应。促进⼈⼯智能同经济社会发展深度融合，推动我国新⼀代⼈⼯智能健康发展，是科技界和产业界的时代重任。 因势利导，乘时⽽上。党和国家推出⼀系列⼈⼯智能发展的政策和规划，为⼈⼯智能产业提供了强有⼒的⽀撑和引导，推动科研和应⽤跻⾝世界先进⾏列。近期颁布的《⽣成式⼈⼯智能服务管理暂⾏办法》明确了对新兴的 ⽣成式⼈⼯智能⼤模型产业的⽀持和⿎励，完备了科学监管框架，为产业健康发展提供了有⼒政策导向和法规保障。商业银⾏作为数字化和智能化的先⾏者，具备⽣成式⼤模型应⽤丰富的场景舞台和技术实施基础，势必成为 ⼤模型技术和⾏业应⽤深度融合的最佳⽰范。 ⾦融强国，创新求变。中央⾦融⼯作会议指出，⾦融要为经济社会发展提供⾼质量服务，要做好科技⾦融、绿⾊⾦融、普惠⾦融、养⽼⾦融、数字 ⾦融五篇⼤⽂章，为商业银⾏的⾦融强国建设指明了⽅向。落实在经营中，商业银⾏同时必须⾯对客⼾需求多样化、⻛险防控复杂化、竞争环境激烈化等多⽅⾯的挑战和机遇，需要充分利⽤⼈⼯智能等新技术提升服务质量和 前⾔ 效率，增强⻛险管理和创新能⼒，提⾼企业在数字经济中的竞争⼒和影响⼒。 ⽣成式⼤模型作为近年来⼈⼯智能领域的最新技术成果，以其强⼤的表达能⼒、泛化能⼒和创造能⼒，在⼈机对话、知识提炼、⽂案创作等众多领域取得了令⼈瞩⽬的成果，为⾦融服务和产品的创新提供了新的机遇。 数字银⾏，砥砺奋进。商业银⾏的数字化、智能化转型不是个⼀帆⻛顺的过程，当中涉及组织、技术、数据、⼈才等各⽅⾯的挑战。如何结合银企 ⾃⾝的优势和业务场景的特点，充分挖掘⼈⼯智能⼤模型的潜⼒，有效防控 ⼤模型潜在的技术和科技伦理⻛险等，都是急需解答和实践的现实问题。本 ⽂从商业银⾏视⻆，对⽣成式⼤模型的技术⽀撑、应⽤场景和评测⽅法等各 ⽅⾯进⾏调研和全景式展⽰，为商业银⾏的数字化发展提供理论和实践参考。 ⽬录 ⽬录 第一章概述2 (⼀)源起：通⽤智能⽬标⾼远，模型规模持续增⻓2 (⼆)成⻓：新模型架构⼤彰其能，⽣成式技术崭露头⻆3 (三)爆发：会话智能惊艳市场，产业跟进百舸争流4 第二章人工智能大模型发展现状7 (⼀)技术升级夯实基础，应⽤⽣态蓬勃发展7 (⼆)评测体系逐步完善，可信治理持续健全35 第三章人工智能大模型应用案例49 (⼀)⼤模型场景实践：全流程嵌⼊助⼒业务提质增效49 (⼆)⼤模型应⽤范式：模板化复⽤加速⽅案设计落地56 第四章总结与展望60 (⼀)技术跟踪：研判技术趋势，前瞻布局务实规划61 (⼆)创新驱动：打造产品标杆，敏捷创新赋能业务63 (三)安全合规：完善安全体系，保障应⽤健康发展64 (四)⾼效运营：强化成本意识，提⾼资源使⽤效率66 (五)结语66 第⼀章概述 (⼀)源起：通⽤智能⽬标⾼远，模型规模持续增⻓ ⼈⼯智能技术在过去⼗⼏年⾥取得了巨⼤的发展，形成了完备的产业 ⽣态链和庞⼤的市场规模，现已进⼊规模化落地⻅效期。然⽽，巨⼤应⽤潜 ⼒的背后是70-80%的碎⽚化应⽤场景，当前的主流AI技术框架下，仍然需要⼤量的⼀事⼀议的建模和模型训练，应⽤开发成本和实施周期始终是规模化应⽤的⼀⼤制约。从使⽤者视⻆，⼤多数⼈⼯智能应⽤局限于特定场景下机械化重复性的任务，缺乏类⼈的开放式沟通、逻辑推理、创意创作的能 ⼒，智能化⽔平不⾼。实现具备⼴泛领域知识和问题解决能⼒的通⽤⼈⼯智能(AGI)⼀直是科技前沿不懈努⼒的⽅向。 2018年以来，⼤模型技术逐渐发展成为通往通⽤⼈⼯智能的关键演进路径。⼤模型的深度神经元⽹络参数规模达到百亿级以上，通过⼤模型算法能够基于海量数据统⼀学习和表征⼴泛领域的知识、规律和模式，形成通⽤的基础预训练模型。在⾯向具体场景应⽤时，这种具备“渊博知识”的⼤模型尚需通过少量的场景专属任务的标注数据来进⾏微调，以便能够理解需要解决的任务类型，最终形成为场景专属模型真正落地。 ⼤模型的出现在⼀定程度上解决了⼈⼯标注成本⾼的问题。通过对海 量数据进⾏⾃监督学习，可以有效地从⼤量标记和未标记的数据中捕获知识，让模型学习到更多的通⽤特征。借助“预训练+微调”可对特定任务进 ⾏优化，将通⽤特征迁移到不同的任务中，提升模型的精度和泛化能⼒。模型参数规模越⼤使得⼩样本的学习也能达到⽐以前更好的能⼒，极⼤的降低了⾏业应⽤AI的成本。 (⼆)成⻓：新模型架构⼤彰其能，⽣成式技术崭露头⻆ 2017年，⾃然语⾔处理领域的新型神经⽹络架构转换器（transformer）被提出，它具有更⾼的可并⾏性和更上乘的语⾔处理能⼒，催⽣出了GPT等优秀的⾃然语⾔⽣成式⼤模型（⻅图1）。2020年OpenAI推出的GPT-3参数规模达到1750亿，训练数据量⾼达45TB，在通⽤⽂本⽣成能⼒⽅⾯达到 ⼀个新的⾼度，商业实⽤价值被产业界⼴泛的认可和关注。在图像领域，⽣成对抗⽹络(GAN)等⽣成式模型的成熟和深度⽹络规模的提升，推动着图像 ⽣成质量稳步爬升。不过初期的图像⽣成只能⽀持特定场景(如⼈脸)图像的随机⽣成，或者将⼀张图⽚在两种特定的⻛格之间转换(如卡通⻛格和实物 ⻛格)，实⽤性相对有限。2021年开始，跨模态⽣成式⼤模型取得突破性进展，OpenAI、微软、⾕歌、Meta等头部科技公司纷纷推出以⽂⽣图(DALL-E，Make-a-ScenePARTI等)、⽂⽣视频模型(NUWA，Make-A-Video，CogVideo等)，相关质量已能达到商业应⽤的要求。尤其特别的是跨模态⼤模型使图像和 ⾳视频的⽣成能够通过⾃然语⾔的输⼊进⾏控制和调节，为多媒体内容⽣成应⽤打下了必备的基础。 图1：⼤模型演化历程 (三)爆发：会话智能惊艳市场，产业跟进百舸争流 2022年11⽉⼈⼯智能领域科创公司OpenAI以云端服务的形式发布⽣成式对话⼤模型ChatGPT，能够通过单轮或多轮的互动问答不断深⼊理解⽤ ⼾述求，完成知识问询、代码写作和诊断、⽂案创作、聊天、算数等⼀系列传统的NLP任务。这种以⾼度拟⼈化的通⽤交互模式向普罗⼤众提供开放域AI服务的能⼒，被认为是通⽤⼈⼯智能发展的⾥程碑事件，获得了市场的⼴泛关注，仅⽤2个⽉就创造了⽤⼾数过亿的新记录，引爆了新⼀轮研发和应⽤热潮。 2023年以来，国内外头部科技公司竞相发布⼤模型，形成了“百模⼤战”的业态格局。在基础⼤模型⽅⾯，⽣成式的语⾔⼤模型、图像⼤模型、语⾳⼤模型、视频⼤模型等垂直领域⼤模型不断迭代，⼒争百尺竿头更进⼀步，例如Sora凭借在视频质量和⼀致性⽅⾯的出⾊表现，掀开新篇章；能够综合处理图、⽂、⾳的多模态⼤模型也在推陈出新、迅猛发展（⻅表⼀）。在基础⼤模型之上，⾯向特定领域进⼀步衍⽣出程序开发（Code）、商业智能（BI）、调度规划（Agent）等任务⼤模型（⻅表⼆），⾯向垂类⾏业则发展出医疗、法律、⾦融、通信等⾏业⼤模型（⻅表三），⼤模型能⼒呈现向 任务和⾏业纵深的快速拓展的态势。 表⼀：基础⼤模型 类别 简介 典型代表 语⾔⼤模型 旨在理解和⽣成⼈类语⾔，通过学习到⽂本的上下⽂信息，实现⽂本⽣成、⽂本总结、翻译等任务。 LLaMa、GPT、Claude、Vicuna、⽂⼼⼀⾔、ChatGLM、百川、盘古、脑海等 视觉⼤模型 通过学习视觉特征和语义信息的关系，完成图像和视频的识别、⽣成、编辑等任务。 DALL·E2、DALL·E3、Stablediffusion、SDXL、i2vgen-xl等 语⾳⼤模型 通过学习语⾳信号中的声学特征和语义信息，从⽽能够进⾏语⾳识别和合成等任务。 Voicebox、VALL-EX、USM、SpeechGPT、whisper、SALMONN、GPT-SoVITS,ChatTTS,CosyVoice，喜⻢拉雅⾳频⼤模型等 多模态⼤模型 通过学习不同数据类型（如⽂本、图像、语⾳等）之间的关联和交互，从⽽能够进⾏跨模态任务，如跨模态检索、跨模态⽣成、图⽂问答等任务。 PaLI、VisCPM、NExT-GPT、MMICL、紫东太初、Qwen-VL、Sora、GPT-4o、Gemini等 表⼆：任务⼤模型 类别 简介 典型代表 程序开发⼤模型 通过⼤量代码样本的训练，学习代码的结构和特征，从⽽⾃动⽣成符合要求的代码，以辅助⼈员开发，提⾼编程效率。 CodeGeex、CodeLlama、CodeFuse、CodeGemma通义灵码等 商业智能⼤模型 基于⼤语⾔模型实现，可通过多轮会话，获取实时数据的图表展⽰，也可⾃动总结与图表相关的业务结论。 ChatBI、SugarBI等 调度规划⼤模型 旨在解决复杂的调度问题，其通过⾃动分配任务、规划路径等，以提⾼调度规划的效率。 HuggingGPT、ToolLLM等 表三：⾏业⼤模型 类别 简介 典型代表 ⾦融⾏业⼤模型 通过⾦融数据训练⽽成，其主要⽤于解决⾦融⾏业的各种问题，如⻛险管理、智能投顾、反欺诈等。 BloombergGPT、轩辕、AntFinGLM、FinGPT、LightGPT等 法律⾏业⼤模型 通过法律法规、法律判决书等数据训练⽽成，其主要⽤于解决法律⾏业的各种问题，如法律咨询服务、案件结果预测等。 ChatLaw、LawGPT、韩⾮等 通信⾏业⼤模型 其旨在利⽤⾃然语⾔技术来处理通信⽂本，如通话记录、短信、邮件等，⾃动识别⽂本中的关键信息，并解答客⼾问询。 九天、TeleChat、泓湖等 交通⾏业⼤模型 通过交通法规等数据训练⽽成，其主要⽤于解决交通⾏业的各种问题，如交通管理、智能出⾏、交通安全教育等。 TransGPT、TrafficGPT等 医疗⾏业⼤模型 通过医疗书籍、病例等数据训练⽽成，其主要⽤于解决医疗⾏业的各种问题，如疾病诊断、病情预测、药物研发等。 DoctorGLM、MedGPT、Med-PaLM、灵医等 天⽓预报⼤模型 利⽤深度学习的⽅法了解各种⽓象数据中的关系，以快速预测未来的天⽓状况。 NowcastNet、华为云盘古⽓象⼤模型、CMA-AIM、伏羲等 作为⼈⼯智能运⽤的先⾏⾏业，银⾏业⾼度重视⼤模型技术的兴起，结合实际需求先⾏先试，积极挖掘新技术在⾦融业务中的应⽤场景，加速推动企业数字化转型和提升市场竞争能⼒。在另⼀⽅⾯，以⼤模型为代表的新⼀代⼈⼯智能技术对于当前⼈⼯智能全技术栈带来⾰新式的影响，在基础设 施、数据准备、算法调优、安全可信等⽅⾯均提出了新的挑战，需要商业银 ⾏持续探索和优化建设路径，形成⾦融⼤模型的最佳实践。 第⼆章⼈⼯智能⼤模型发展现状 (⼀)技术升级夯实基础，应⽤⽣态蓬勃发展 ⽣成式⼤模型在⽂本、图像、⾳频等各个领域下的能⼒⻜跃，源于算⼒基础设施、⾼质量训练数据、模型架构和训练算法等各个⽅⾯的进步，由量变引发质变：专⽤AI训练集群为研发百亿级参数规模以上的⼤模型提供了硬件基础；预训练语料库的不断扩充为⼤模型提供了丰富的知识来源；转换器（Transformer）注意⼒机制的应⽤改进了模型对⻓程依赖关系的建模能⼒；指令微调技术强化了模型对⽤⼾提问意图理解和反馈偏好的适配程度等等。鉴于⼤模型技术栈的复杂性，⼤模型⼯程化平台成为⼤模型企业级应⽤的必备利器。它们整合了分布式训练框架、超参数搜索、模型压缩、性能评估、持续集成等⾃动化功能，极⼤简化了模型和应⽤开发流程。商业银⾏实施⼤模型企业能⼒建设，应当结合业务需求特点选择合适的路径构建完备的基础和⼯程技术体系，降低使⽤⻔槛，加速⼤模型从研发到产品和解决⽅案的价值化过程，充分