可信赖的企业级生成式人工智能白皮书

版权声明 本报告相关部分版权属于中国开源软件推进联盟或国际商业机器(中国)有限公司，并受法律保护。转载、摘编或利⽤其它⽅式使⽤本报告⽂字或者观点的，应注明“来源：中国开源软件推进联盟、国际商业机器(中国)有限公司”。违反上述声明者，权利⼈将追究其相关法律责任。 可信赖的企业级⽣成式⼈⼯智能⽩⽪书 编写委员会 顾问：陆⾸群 策划：谢东程海旭刘澎粱志辉孟繁晶 主编：程海旭刘泽宇⽯延霞张颖刘晓⾦孟迎霞鞠东颖 ⼯作组：（按照姓⽒⾸字⺟排列） ⽩默涵程⽂杰初德⾼董琳樊斐冯媛葛巍韩艳艳姜朋慧荆琦李博⽂李⻘廖⽂静刘佳怡刘默驰隆云涛罗东⽂⽥忠徐斌徐孝天杨军杨悦元中⽅袁怿原雪洲臧倩张侃张⽟明赵则名朱默庄雪吟 贡献者：（按照姓⽒⾸字⺟排列） 曹岚陈栋丁伟都娟何蕾李变李玲刘俊刘胜利倪栋聂锦程庞⽂峥沈海军孙盛艳王彩彩王积杰王君吴敏达杨继辉姚勇张家驹赵登科赵蓉郑维珺 序⾔ ⽣成式⼈⼯智能触发了新⼀轮⼈⼯智能浪潮，⼈⼯智能（AI）正在以前所未有的速度和规模，重塑着我们的⽣活和和⼯作⽅式，在推动经济转型和社会进步中展现出巨⼤的潜 ⼒。 企业是技术与创新转化为核⼼⽣产⼒的重要载体，那么企业在AI时代，如何打造新⽣产⼯具形成新⽣产⼒，帮助企业产销的产品持续的迭代与进化？可信赖的AI的重要性不 ⾔⽽喻。2019年，我发表了“评⼈⼯智能如何⾛向新阶段”？触发了业界对⼈⼯智能发展⽅向的热烈讨论。同年8⽉份，COPU提出研发XAI的任务，倡议机器学习、深度学习必须克服其⾃⾝的缺陷，打破⿊盒⼦痼疾，建⽴可解释的机器学习模型，实现可解释、可信赖的⼈⼯智能，这在国内乃⾄全球都是最早提出这个任务的少数机构之⼀。2020年6 ⽉，COPU主办《第15届开源中国开源世界⾼峰论坛》，邀请IBM副总裁ToddMoore在会上作“可信任⼈⼯智能（反欺诈、可解释、公平性）”的报告，IBM程海旭团队与COPU在此话题⽅⾯也进⾏多次研讨,并且应COPU要求写了三篇⽂章回应COPU提出的问题。并且，IBM开源了针对反欺诈、可解释性和公平性的AI⼯具套件，也标志着可解释性AI（XAI）的重要进展。IBM作为全球AI治理平台的领导者，致⼒于将前沿科技转化为⽣产⼒，为企业提供开放、可信、有针对性的AI解决⽅案，共同开启企业级可信AI的新时代。 在如何帮助企业采⽤AI新技术形成新质⽣产⼒⽅⾯，尤其是当前AI技术⽇新⽉异、百模⼤战，技术重塑业务有其复杂性、差异性与多样性，在模型的选择、训练与调优、数 据的准备等技术问题，乃⾄场景价值、投⼊与产出等策略性问题上，都有着不同企业的疑虑与困惑。⽩⽪书对于企业关注的AI模型及平台、数据治理以及AI治理等重点领域都有先进经验与理念的分享。在场景价值⽅⾯，⽩⽪书通过深⼊分析汽⻋、⾦融等⾏业的成功案例，展⽰了AI技术如何助⼒企业实现转型和创新。在未来，⼈⼯智能的发展将继续以可信、安全为⽬标，依托算法、算⼒、数据为核⼼，帮助企业在AI智能时代持续进化，进⽽推动社会智能化的全⾯发展。 本⽩⽪书也强调开源在推动AI发展中的重要作⽤。开源不仅促进了技术的透明性，还加速了研发进程，为构建开放、共享、协同、⾃由的AI⽣态提供了坚实基础。相信《可信赖的企业级⽣成式⼈⼯智能⽩⽪书》的每⼀位读者都会开卷有益。 陆⾸群教授中国开源软件推进联盟名誉主席 前⾔ 2024年3⽉李强总理代表国务院在⼗四届全国⼈⼤⼆次会议上作的《政府⼯作报告》中，⾸次提出了开展“⼈⼯智能+”⾏动，这表明国家将加强顶层设计，加快形成以⼈⼯智能为引擎的新质⽣产⼒。 在企业端，⼈⼯智能产业的发展已驶⼊快⻋道，“让AI成为核⼼⽣产⼒”已经成为企业领导的迫切需求。据中国信息通信研究院公布的数据，2023年中国⼈⼯智能核⼼产业规模达到5784亿元，增速13.9%[1]。根据⻨肯锡研究报告，到2030年前，⽣成式AI有望为全球经济贡献约7万亿美元的价值，其中中国有望贡献其中约2万亿美元，将近全球总量的1/3[2]。 AI不仅可以推动整体经济和GDP的⼤幅增⻓，还将为那些善⽤AI的个⼈和组织带来前所未有的竞争优势。放眼全球，⽣成式AI对⾼科技⾏业将产⽣最为显著的影响；在中国，先进制造、电⼦与半导体、消费品、能源、银⾏将是受影响最为显著的5⼤⾏业。 基于此，IBM联合中国开源软件推进联盟(COPU,ChinaOSSPromotionUnion)，结合双⽅对企业应⽤⽣成式AI的深刻洞察、技术研究和业务实践，共同发布此报告，致⼒于推动企业⾼效、可信、负责任地应⽤⽣成式AI，帮助企业打造新的竞争⼒，成为AI时代的真正受益者。 本报告⾸先阐述了⽣成式AI的演进和现状、全球⽴法和治理概况、应⽤前景和商业价值、⻛险与挑战、企业应⽤的关键因素；其次，对企业级⽣成式AI的参考架构进⾏了全⾯介绍，包括AI模型平台、数据平台和服务、治理、基础⽀撑平台、AI应⽤，并展⽰了具有代表性的企业级应⽤⽣成式AI的真实案例和实施价值；最后提出企业应⽤⽣成式AI的战略规划⽅法及步骤，并对⽣成式AI的未来发展进⾏了展望。 ⽬录 —引⾔与背景7 1.1⽣成式⼈⼯智能的定义与演进7 1.2⽣成式⼈⼯智能应⽤的现状10 1.3⽣成式⼈⼯智能的⻛险及全球⽴法、治理概况11 ⼆企业应⽤⼈⼯智能的机遇与挑战15 2.1⽣成式⼈⼯智能的应⽤前景与商业价值15 2.2⽣成式⼈⼯智能带来的技术与⾮技术挑战18 2.3⽣成式⼈⼯智能在企业应⽤中的关键因素22 三企业级⽣成式⼈⼯智能的技术、产品与解决⽅案28 3.1企业级⽣成式⼈⼯智能参考架构28 3.2⼈⼯智能平台和服务31 3.3数据平台和服务62 3.4基础⽀撑平台93 3.5⽣成式⼈⼯智能的企业级应⽤97 四⽣成式⼈⼯智能治理116 4.1⽣成式⼈⼯智能治理框架116 4.2融⼊AI全⽣命周期117 4.3⽣成式⼈⼯智能模型治理技术119 4.4⽣成式⼈⼯智能模型治理⼯具124 4.5⽣成式⼈⼯智能数据治理128 4.6⽣成式⼈⼯智能在基础⽀撑平台治理的新趋势136 4.7⽣成式⼈⼯智能治理的指标矩阵137 4.8⽣成式⼈⼯智能治理的⼩结与展望138 五企业级⽣成式⼈⼯智能的规划与实施⽅法139 六企业应⽤⽣成式⼈⼯智能的参考案例与实施价值143 6.1IBM案例143 6.2其他案例158 七企业级⽣成式⼈⼯智能的未来展望166 ⼋参考⽂献172 附录⼀watsonx.ai基础模型库178 附录⼆⼈⼯智能指标180 附录三名词解释190 致谢193 —引⾔与背景 1.1⽣成式⼈⼯智能的定义与演进 1.1.1⽣成式⼈⼯智能的定义 ⽣成式⼈⼯智能（GenerativeAI）是⼈⼯智能技术从上世纪50年代开始后，经过专家系统、机器学习两个发展阶段，演进到2010年代初出现的⼀种深度学习模型（如图1）。它通过学习数据分布模式和规律，⽣成⾼质量的⽂本、图像、⾳频、视频四⼤基础模态，以及跨模态内容⽣成。 例如，通过学习⼤量⽂本数据，⽣成式AI可以⽣成具有类似⻛格的⽂章、⼩说、诗歌等⽂本作品。通过学习图⽚数据分布规律，⽣成式AI可以⽣成符合该分布规律的全新图 ⽚。通过对⾳频的深度学习，⽣成符合不同场景需求的数字⼈播报、语⾳客服、智能家居。使⽤深度学习模型对图像或视频进⾏分析和理解，再根据特定算法⽣成新的视频。最后，这些不同的模态还可以实现跨模态转化和⽣成，如将⽂本转化为图像、⾳频或视频，将图像转化为⽂本、⾳频或视频，应⽤于艺术创作、⼴告营销、教育培训、医疗诊断等领 域。 ⽣成式AI与之前传统AI（也可称为判别式AIDiscriminativeAI）最根本的不同在于：创造。⽣成式AI具有更⼤的灵活性和创造⼒，可以更好地模拟⼈类的想象⼒和创造 ⼒，⽣成更加多样化和全新的数据内容。⽽判别式AI则主要专注于已有数据的分类和预测，通过学习数据特征和标签之间的关系，进⾏模式识别和预测。例如判别式AI只可以区分出猫和狗的图⽚，⽽⽣成式AI则可以⽣成逼真的狗的图⽚。 基于这样不同的技术路径，⽣成式AI与判别式AI的成熟程度与应⽤⽅向也不同。判别式AI的底层技术相对成熟，在各个领域都有⼴泛的商业应⽤，包括⼈脸识别、推荐系统、⻛控系统、机器⼈、⾃动驾驶等。⽽⽣成式AI则在2015年前后才开始迅速发展，主要应⽤在内容创造、⼈机交互、产品设计等全新领域。 1.1.2⽣成式⼈⼯智能的演进 ⽣成式AI技术从2010年代初出现后，发展到2022年底，主要经历了三波浪潮： 第⼀波浪潮：2010-2015年。⼩型模型蓬勃发展。 变分⾃动编码器(variationalautoencoders,VAEs)是第⼀个⼴泛⽤于⽣成逼真图像和语⾳的深度学习模型，为当今的⽣成式AI奠定了基础，也是当今⼤语⾔模型（largelanguagemodels,LLMs）的基础。VAEs基于编码器和解码器块构建⽽成。具体来说，编码器将数据集压缩为密集表⽰形式，在抽象空间中将相似的数据点排列得更紧密。解码器从这个抽象空间中进⾏采样以创建新内容，同时保留数据集的最重要特征。VAEs不仅增强了重建数据的关键能⼒，⽽且还可以输出原始数据的变化形式。 这种⽣成新数据的能⼒引发了⼀系列⼩型模型的快速发展，其中2014年出现的⽣成式对抗⽹络(generativeadversarialnetworks,GANs)具有突破性影响。GANs由⽣成器和判别器组成，通过同时训练⽣成器和判别器来学习⽣成新的数据实例，以及更具创造性和多样性的⽂本。 第⼆波浪潮：2015年-2017年。模型规模竞赛⻛起云涌。 这个阶段，⽣成式⼈⼯智能领域出现了越来越多较⼤规模的模型。特别是基于循环神经⽹络（recurrentneuralnetworks,RNN）和卷积神经⽹络（convolutionalneural networks,CNN）的⽣成模型，能够更好地捕捉上下⽂信息，⽣成更连贯、准确的⽂本， ⽣成更加逼真的图像。 例如，2015年，在计算机视觉领域，残差⽹络（residualnetwork,ResNet）取得了突破性进展，这是⼀种深度卷积神经⽹络，能够在图像识别任务中取得更好的效果。2016年，⾕歌推出的AlphaGo成为第⼀个在围棋⽐赛中战胜⼈类职业选⼿的⼈⼯智能程序，这标志着⼈⼯智能在游戏领域的重⼤突破。 第三波浪潮：2017年-2022年。基础模型横空出世。 2017年，⾥程碑式论⽂“Attentionisallyouneed”提出⼀种全新的神经⽹络架构：Transformer。Transformer使⽤⼀种全新的⾃注意⼒机制来处理序列数据，与之前传统的循环神经⽹络需要⼿动设计或学习完全不同。具体来讲，Transformer将“编码器-解码器”架构与⽂本处理机制相结合。编码器将原始⽂本转换为“嵌⼊”表⽰。解码器将这些嵌⼊与模型之前的输出相结合，并连续预测句⼦中的每个单词。通过填空猜谜游戏，编码器可以了解单词与句⼦之间的关系，⽽⽆需任何⼈标记词性。Transformer甚⾄可以在未指定特定任务的情况下进⾏预训练。学习这些强⼤的表⽰之后，就可以使⽤更少的数据来增强模型的专业化⽔平，以便执⾏给定的任务。Transformer因其全⾯多样的功能⽽被称为基础模型。 同时，这个阶段的算⼒出现爆发式增⻓，并随着互联⽹、移动互联⽹的快速发展，数据也迎来指数级增⻓。这为⼤规模⾃监督或半监督的学习⽅法提供了强⼤的数据和算⼒保障，从⽽使得基础模型获得巨⼤成功，⼤⼤加速和扩⼤了⽣成式AI在企业中的应⽤领域，如⾃动驾驶、机器⼈流程⾃动化等。根据IBM发布的《2022年全球AI采⽤指数》，全球企业采⽤AI科技的⽐例持续成⻓，达到35%，⽐2021年上升4%[3]。 9 1.2⽣成式⼈⼯智能应⽤的现状 2022年底⾄今，⽣成式AI进⼊到第四波浪潮：更好、更快、更便宜的⽣成式AI产品。 2022年可以说是⽣成式AI发展的⼜⼀个重要⾥程碑。继2022年11⽉30⽇OpenAI打响chatGPT第⼀枪后，全球领先⼚商都快速地发布了⾃⼰的⽣成式AI