生成式人工智能治理与实践白皮书

生花式人工智能 治理与实践 白皮书 GENERATIVEARTIFICIAL INTELLIGENCE GOVERNANCE& PRACTICE WHITEPAPER AlibabaGroup 阿里巴巴集团 中国电子技术标准化研究院 ChinaElectronicsStandardizationinstitute 阿里云達摩院 aliyun.com 生成式人工智能 治理与实践 白皮书 生成式人工智能的发展以及担忧生成式人工智能的治理愿景和框架 川IV 生成式人工智能风险产生原因的分析生成式人工智能风险治理实践和探索 V 生成式人工智能多主体协同敏捷治理体系总结与展望 【生成式人工智能治理与实践白皮书！ 研发&服务生命周期治理要点个人信息 训练 模型训练数据模型评测 内告安全 增强 管理 模型选用模型核验调用工具 内容个人信息 合规动作 拒绝生 训数练 类 保护 生成账号管理分 级 治理实践及探索 添加标识风险监测应急处置 开源模型平台 OPENSOURCE 算力 模型共享社区 AIGC 产业发展 COMMUNITY生成式 人工智能 模型即服务 生态 算法 内容安全模型安全知识产权 政策引领 规 用再 生成信 数据合法 性用 14 规获取 不加持用成生啦 产业应用 多主体协同敏捷治理 LARGELANGUAGEMODELS 语言大模型 行业大模型 DOMAIN-SPECIFICLARGEMODELS 视觉大模型 社会影响 LARGEVISIONMODELS 【生成式人工智能治理与实践白皮书！ 生成式人工智能治理与实践白皮书 指导委员会专家委员会 闻佳阿里巴巴集团公共事务总裁钱磊阿里巴巴集团安全部总裁 郑俊芳阿里云智能集团首席风险官兼欧阳欣阿里云智能集团首席安全官 首席财务官朱红儒阿里云智能集团标准化业务副总裁 孙文龙中国电子技术标准化研究院副安筱鹏阿里云研究院院长 院长范科峰中国电子技术标准化研究院信息技术研究中心主任 吴泽明阿里巴巴集团首席技术官建中国电子技术标准化研究院信息技术研究中心副主任 编写组主要成员特别鸣谢 陈岳峰杨雨泽马宇诗毛潇锋徐国海李王晓军孙宁 傅宏宇肖哲晖朱琳洁黄龙涛司靖辉 鹏成晨 叶 彭骏涛蒋哲琪李金纯郎一宁沈晖贾一君 杨易侗杜东为李进锋安 编写单位 阿里巴巴集团 中国电子技术标准化研究院阿里云智能集团 达摩院 6 编写单位 阿里巴巴集团ChinaElectronicsStanedardization 阿里云逢摩院 编写组组长 薛晖阿里巴巴人工智能治理与可持续发展研究中心主任 徐洋中国电子技术标准化研究院人工智能研究室主任 编写组副组长 张荣阿里云智能集团算法安全负责人 袁媛阿里研究院执行副院长 李娅莉阿里巴巴达摩院安全与法务负责人 关于我们 阿里巴巴人工智能治理与可持续发展研究中心（AAG）是阿里巴巴集团 旗下的人工智能顶级研发团队，致力于利用AI技术解决安全风险问题， 并推动AI技术迈向更加可用、可靠、可信和可控。团队成员百余名，学术研究能力和工程实践能力兼备，在计算机视觉、自然语言理解、数据挖掘与网络安全等领域的国际顶级会议和期刊上发表论文100多篇，多次在国际国内知名赛事中取得冠军，获授权国际国内专利60余项，申请中专利达到200多项，参与多项技术标准的制定。 AAIG贯彻“科技创新是最好的网络安全”的理念，所研发的人工智能产 品涵盖内容安全、业务风控、数字安防、数据安全与算法安全等多个领域，为集团在全球的千万商家和十亿消费者提供安全保障，并通过技术服务方式赋能阿里云上一万多家中小企业构筑安全防线。 联系我们 aaig@list.alibaba-inc.com 【生成式人工智能治理与实践白皮书 目录 .生成式人工智能的发展以及生成式人工智能的治理愿景和 担忧框架 1.生成式人工智能的技术与应用突破141.国际社会治理特点26 1.1文生文突飞猛进141.1治理目标：坚持促发展与重监管并行26 1.2文生图效果惊艳151.2治理模式：强调多元主体协同共治26 1.3行业应用广泛161.3治理手段：创设例外保留创新空间27 1.4使用门槛降低181.4治理细则：技术规范逐渐明晰27 2.生成式人工智能的内生问题与社会担优2.我国的治理特点28 202.1促进发展：对人工智能发展给予更多政策支持、 配套发布一系列产业政策文件28 2.1个人信息的实时交互担忧202.2重视治理：确定了现阶段算法治理的重点场景， 推动建立算法治理的法治之网”28 2.2内容安全的源头敏捷控制21 2.3伦理约束：加强科技伦理治理顶层设计，明确人 2.3模型安全的全生命周期内控22工智能伦理原则及治理要求28 2.4知识产权的溯源与权属挑战22 3.本书观点：发展多主体协同敏捷治理体 系，构建全生命周期风险分类治理框架30 8 三.生生成式人工智能风险产生原因四·生成式人工智能风险治理实践 的分析和探索 1.综述：构建生成式大模型的条件341.生成式人工智能治理格局建设48 1.1算力341.1以针对性立法回应技术发展与产业需求48 1.2数据341.2以政策完善构建与技术发展需求相匹配的治理机 制48 1.3算法35 1.4生态35 1.3产业自律自治筑成负责任创新治理机制49 1.5人才352.生成式人工智能不同环节的风险治理51 3.语言大模型36 3.1Transformer网络36 3.2训练过程和使用的数据36 3.3语言大模型的生成过程39 2.1模型训练阶段的风险治理52 2.2服务上线阶段的风险治理53 2.3内容生成阶段的风险治理53 2.4内容传播阶段的风险治理54 24小结：语言大模型的风险来源.403.个人信息合规56 4.视觉大模型41 4.1模型原理41 4.2训练过程42 4.3生成过程44 4.4小结：视觉大模型的风险来源45 3.1大模型与个人信息的关系56 3.2训练数据中的个人信息56 3.3算法服务时拒绝生成个人信息58 6 三.生生成式人工智能风险产生原因四·生成式人工智能风险治理实践 的分析和探索 1.综述：构建生成式大模型的条件341.生成式人工智能治理格局建设48 1.1算力341.1以针对性立法回应技术发展与产业需求48 1.2数据341.2以政策完善构建与技术发展需求相匹配的治理机 制48 1.3算法35 1.4生态35 1.3产业自律自治筑成负责任创新治理机制49 1.5人才352.生成式人工智能不同环节的风险治理51 3.语言大模型36 3.1Transformer网络36 3.2训练过程和使用的数据36 3.3语言大模型的生成过程39 2.1模型训练阶段的风险治理52 2.2服务上线阶段的风险治理53 2.3内容生成阶段的风险治理53 2.4内容传播阶段的风险治理54 24小结：语言大模型的风险来源.403.个人信息合规56 4.视觉大模型41 4.1模型原理41 4.2训练过程42 4.3生成过程44 4.4小结：视觉大模型的风险来源45 3.1大模型与个人信息的关系56 3.2训练数据中的个人信息56 3.3算法服务时拒绝生成个人信息58 6 I生成式人工智能治理与实践白皮书 4.内容安全保障 59 7.实践案例：虚拟模特塔玑75 4.1内容安全视角里，AIGC与UGC的异同 59 7.1虚拟模特塔玑促进生产力提升75 4.2生成式模型风险评测 60 7.2数据驱动下的虚拟模特与个人信息保护 76 4.3模型层内生安全 61 7.3内容安全保障 76 4.4应用层安全机制 62 7.4模型安全控制77 4.5生成信息的信任机制 63 7.5生成式标识与知识产权保护 77 5.模型安全防控 68 5.1鲁棒性 68 5.2可解释性 68 5.3公平性 68 5.4防溢用机制 69 5.5实践案例：鲁棒评估基准与增强框架 69 6.知识产权探索 73 6.1训练数据的知识产权合法性治理探索 73 6.2生成物知识产权治理探索 74 10 五.生成式人工智能多主体协同敏 捷治理体系 六·总结与展望（88） 1.敏捷治理的理念与特点2.多主体协同下的敏捷治理探索与实践81 80 专有名词解释（92） 2.1政府规范引导 82 2.2产业守正创新 82 2.3社会监督理解 t8 11 CHAPTER. 壹 生成式人工智能的发展以及担忧 1.生成式人工智能的技术与应用突破 2.生成式人工智能的内生问题与社会担忧 CHAPTER. 壹 生成式人工智能的发展以及担忧 1.生成式人工智能的技术与应用突破 2.生成式人工智能的内生问题与社会担忧 生成式人工智能治理与实践白皮书 1.生成式人工智能的技术与应用突破 1.1文生文突飞猛进 2022年11月30日，OpenAI发布了对话式通用人工智能服务ChatGPT。仅推出5天，用户数就超过100万； 上线两个月后，用户数突破1亿，成为AI界的顶流。ChatGPT能遵循人类指令完成各种认知型任务，包括交 互对话、文本生成、实体提取、情感分析、机器翻译、智能问答、代码生成、代码纠错等，并且展现出了和人 类近似的水平。2023年3月15日，GPT-4发布，在知识推理以及在逻辑运算方面有大幅提升，还支持多模态输入，进一步扩展了应用场景。 ChatGPT成功背后的技术突破主要有以下三个方面 （1）超大规模参数的预训练语言模型 为了使模型具备通用的能力，必须学习到世界知识，这要求模型具有足够大的参数量来存储海量的世界知识。 GPT-3.5的模型参数已经达到1750亿的规模。随着模型参数量的扩大，语言模型还出现能力涌现的现象，例 如上下文学习（in-contextLearning），以及思维链（ChainOfThought）等推理能力。 （2）多任务的自然语高预训练模型 自然语言处理任务包括问答、机器翻译、阅读理解、摘要、实体抽取等，之前的学术研究都在特定的任务下进 行针对性的算法设计，迁移性差。而ChatGPT采用了多任务预训练的方式，不同任务共享模型参数。这使得 模型具有通用能力，下游任务不再需要微调，直接通过提示学习或者零样本学习就具有很强的性能。 （3）基于人工反馈机制的强化学习OpenAI通过引入指令微调以及基于强化学习的微调技术，提升模型和人类的价值观对齐。具体来看，指令微 调技术使语言模型得以支持用户以人类惯常的沟通方式，与模型进行互动并推动模型能力的提升。同时，通过 人工反馈和标注数据，借助强化学习进行微调，从而确保模型具备正确的价值观。 在应用上，语言大模型构建了“多场景、低门槛、高效率”的共创应用新模式，具有丰富的应用场景，在医疗，教育、零售、媒体等行业完成产品落地应用。根据全球管理咨询公司麦肯锡（McKinsey）的报告，生成式人 14 工智能的新兴主导地位为新一轮经济革命奠定了基础，估算每年能为全球经济增加4.4方亿美元收入。 1.2文生图效果惊艳 2022年2月，开源工具Al绘画工具DiscoDiffusion发布，这是一个在GoogleColab上运行的代码，其原 理是使用了CLiP-GuidedDiffusion，只需要输入文本提示，就能生成对应的图片。同年4月，OpenAl发布了Dall-E2，能够生成更高分辨率和真实性的图像。同时，AI绘画工具Midjourney发布。Google在5月、6月分别发布AI作画的技术，Imagen和Parti，7月份，StabilityAI在LAION5B开源数据集上训练了文生图扩散 模型StableDiffusion，生成的图像形象逼真，画质细腻。 技术的开源，极大地推动了图像生成领域的发展。2022年8月，在美国科罗拉多州举办的新兴数字艺术家竞赛中， 参赛者提交了使用模型生成的绘画作品《太空歌剧院》，获得了“数字艺术/数字修饰照片”类别一等奖。参 赛者并没有绘画基础，通过Al绘图软件Midjourney耗时80个小时创作了该作品。这意味着Al绘画的质量已 经达到了专业水平。 进入到2023年，AI绘画继续井喷式