研究报告及共识文件 世界互联网20大2会3年人1工1月智能工作组 阿里云智能集团 朱冉、穆飞、杨�东 阿拉伯信息通信技术组织 穆罕默德·本·阿莫 北京航空航天大学 赵精武 北京市商汤科技开发有限公司 田丰、胡正坤 北京智源人工智能研究院 林咏华、倪贤豪 德国亚太企业管理咨询公司 费利克斯·里希特 伏羲智库 李晓东、付伟、杨晓波 国际电信联盟电信标准化部门 杨晓雅 国际商业机器(中国)有限公司 谢东、孟繁晶、程海旭 华为技术有限公司 王震军、柳嘉琪 世界互联网大会人工智能工作组 按单位名称首字母排序 安谋科技(中国)有限公司 武大伟、王骏超、吴彤 北京百度网讯科技有限公司 马艳军、刘艳丽、王禹杰 北京三快科技有限公司 王金刚、陈政聿 北京智谱华章科技有限公司 刘德兵、张淼 德国明斯特大学 伯纳德·霍尔兹纳格尔 对外经济贸易大学 张欣 国际电信联盟电信标准化部门BuildnBlaze 雷蒂亚·方娜 国际电信联盟电信标准化部门 毗�奴·拉姆 广州市动悦信息技术有限公司 蒋冠军、张沅 华为云计算技术有限公司 尤鹏、李寅、张倩 华兴泛亚投资顾问(北京)有限公司 秦川、王力行、赵雨萍 佳都科技集团股份有限公司 周志文、秦伟 世界互联网大会人工智能工作组 按单位名称首字母排序 科大讯飞股份有限公司 王士进、李森、董乔琳 欧洲标准化委员会和欧洲电工技术标准化委员会网络安全和数据保护联合技术委员会 沃尔特·福美 上海诺基亚贝尔股份有限公司 叶晨晖、肖卓然、常疆 思科系统公司 侯胜利、魏航 深圳市腾讯计算机系统有限公司 曹建峰、王梦寅、袁俊 新浪公司 王巍、张俊林、王雪婷 英国亨利商学院 唐银山 印象笔记(上海)科技有限公司 唐毅、岳峰、卜英 中国科学院自动化研究所 曾毅 中国社会科学院哲学所 段伟文 中国政法大学 张凌寒 编辑 蚂蚁科技集团股份有限公司 林冠辰、温祖杰、李亮 清华大学信息国家研究中心 顾心怡 世界互联网大会 梁昊、张雪丽、康彦荣 三六零安全科技股份有限公司 刘兆辉、刘闯、甄一蕴 网易(杭州)科技有限公司 吕唐杰、马梦婕 英国标准协会 克里斯·布朗 英特尔(中国)有限公司 王海宁、马里奥·罗马奥 之江实验室 林峰、刘哲 中国社会科学院法学研究所 周辉 中国信息通信研究院 魏凯、王蕴韬 中兴通讯股份有限公司 孟伟、袁丽雅 中国信息通信研究院 呼娜英、石霖、刘硕、邹皓、孙小童、郭苏敏、朱凌云 工作组联系方式:research@wicinternet.org 缩略语对照表 缩略语英文名称中文名称 3DAIAPIARBLIP BLOOM ChatGLMCPUDALL-E EmuFPGA GenAIGDPGMVGPTGPU InternLMLLaMAMTP NLPNPUPaLM QwenSaaSSDKTPUVLAVLM ThreeDimensionalArtificialIntelligence ApplicationProgrammingInterfaceAugmentedReality BootstrappingLanguage-ImagePre-training BigScienceLargeOpen-scienceOpen-accessMultilingualLanguageModel ChatGenerativeLanguageModelCentralProcessingUnit DaliWALL-E LargeMultimodalmodelofBAAIField-ProgrammableGateArrayGenerativeArtificialIntelligenceGrossDomesticProduct GrossMerchandiseVolumeGenerativePretrainedTransformerGraphicsProcessingUnit InternLanguageModel LargeLanguageModelMetaAIMassiveTextPairs NaturalLanguageProcessingNeuralProcessingUnitPathwaysLanguageModelQianWen SoftwareasaServiceSoftwareDevelopmentKitTensorProcessingUnitVisionLanguageActionVisionLanguageModel 三维 人工智能 应用程序接口增强现实 自引导语言图像预训练 大科学、大型、开放科学、开源的多语种语言模型 千亿基座的对话模型中央处理器 达利和瓦力(模型) 智源统一多模态预训练模型可编程逻辑门阵列 生成式人工智能国内生产总值商品交易总额 生成式预训练变换器图形处理器 书生·浦语大模型Meta人工智能大语言模型大规模文本数据集 自然语言处理数字处理单元路径语言模型通义千问大模型软件即服务 软件开发工具包张量处理单元视觉-语言-动作视觉-语言模型 目录 一、概述01 二、全球生成式人工智能技术发展态势02 三、生成式人工智能带来的机遇05 四、生成式人工智能引发的挑战08 五、全球为发展负责任生成式人工智能的努力 ----------------------------------------------------------------------------11 六、发展负责任的生成式人工智能共识15 附件:发展负责任的生成式人工智能的行业应用探索 ---------------------------------------------------------------18 W 01 概OVER述VIE 近年来,生成式人工智能不断取得突破,展现出强大的生成创造能力,开始涌现出“智慧”。生成式人工智能在文本、代码、图像、音视频等方面的理解与生成取得了突破性进展,有望大幅提升社会生产力,加速千行百业的数字化进程,促进人类社会全面迈向智能化新阶段。 回顾人工智能60余年的发展历程,技术突破不仅会创造发展机遇,也会带来相应的挑战。统筹人工智能发展和治理逐渐成为全球共识,自2016年以来,全球多个国际组织、国家、地区及产业界,积极探索人工智能发展与治理路径,已经形成了系列共识原则、 治理要求、实践范式等。考虑到人工智能尚处在快速发展的过程中,相关工作仍需要持续推进。 生成式人工智能演进速度之快、赋能范围之广、影响程度之深前所未有。以负责任的态度推动生成式人工智能发展不仅十分必要,也愈发紧迫,是事关人工智能乃至人类文明发展的重要命题。为此,世界互联网大会成立人工智能工作组,广泛汇聚各方智慧形成共识,推动生成式人工智能发展与治理协同共进,增进全人类共同福祉。 02 智能技术发展态势 全球生成式人工 GEONBAAITLEDCEHVNEOLOLOPMGIEENSTTRENDSOF (人一工)“智模能型不、断数突据破、算力”三大要素的演进带动 生成式人工智能技术突飞猛进,展现出惊人的创造能力和生成能力,主要得益于模型、数据、算力等方面的不断提升。 模型层面,模型结构的创新和模型规模的提升成为生成式人工智能取得突破的关键。从模型结构来看,注意力机制、自回归模型、扩散模型等技术不断升级迭代,特别是以Transformer为主的基础模型脱颖而出,成为生成模型主流技术路线,推动文本、图像、音频、视频等内容的生成和理解能力不断提高。涌现 出ChatGPT、文心一言等大语言模型,StableDiffu-sion、DALL-E2、DALL-E3等视觉生成模型,以及GPT-4、BLIP-2、Emu等多模态模型。从模型参数规模来看,上述新模型架构使得参数规模不断增大成为可能,带来模型能力质的飞跃。以GPT系列模型为例,2020年发布的GPT-3参数规模有1750亿,相比于 2018年发布的参数规模为1.17亿的GPT-1,在复杂自然语言处理方面实现了显著提升。此外,围绕基础模型衍生出的插件机制,可以将外部的搜索、数据处理等功能与基础模型能力集成,从而进一步丰富模型功能,拓展应用范围。OpenAI、360、百度、华为、科大讯飞等企业均推出了相应的模型插件,例如文心一言上线的搜索、交互等插件,使模型更容易实现功能的扩展和定制,以适应多种场景的需求。 数据层面,数据质量、多样性、规模等方面的进步 成为人工智能能力提升的基础。被广泛用于大模型预训练的ThePile数据集,主要基于学术或专业领域知识构造,具有较高质量,包含了维基百科、书籍、 期刊、Reddit链接、CommonCrawl等20余个数据集1。北京智源人工智能研究院发布的大规模文本对数据集MTP,范围涉及搜索、社区问答、百科常识、科技文献等,数据规模达到3亿对。Anthropic、斯坦福大学、HuggingFace等单位发布的微调数据集,涵盖了多种类型的指令,有助于提升模型的可控性,使模型更好地理解和遵循人类指令。此外,合成数据可能成为高质量数据的重要来源之一。生成式人工智能能够大批量制作拟真合成数据,或将帮助缓解高质量训练数据枯竭这一未来潜在问题。根据Gartner预测,到2024年,60%用于人工智能开发和分析的数据将会是合成数据;到2030年合成数据将取代真实数据,成为人工智能模型所使用数据的主要来源2。 算力层面,算力设施的完善支撑生成式人工智能的快速发展。人工智能芯片提供算力基础保障,GPU、FPGA、NPU、TPU等不同技术路线芯片持续探索,针对人工智能计算不断优化,为模型的训练与推理提供了基础保障。深度学习框架放大芯片算力效能,一是通过提供高性能的大规模分布式训练与推理技术,有效缓解模型训练耗时长、推理算力需求高等问题。二是通过与底层芯片适配优化,充分发挥硬件性能,提高计算效率。云边端多样化算力满足生成式人工智能不同应用需求,云侧强大的计算和存储能力保障大模型训练以及高吞吐量应用的推理任务;边缘算力将海量复杂数据进行本地化预处理,可对数据进行实时处理并将其导向大模型,实现快速响应和决策;端侧算力减少数据处理和传输的延迟,直接在端侧进行数据计算分析,提升智能应用的实时性。 (繁二荣)开源开放驱动生成式人工智能生态渐趋 模型开源促进技术的发展和普及。以LLaMA2、 BLOOM、ChatGLM、Baichuan、Aquila、InternLM、Qwen等为代表的开源模型层出不穷,并且不断升级进化。在模型迭代优化方面,模型开源的兴起扩大了企业对基础模型和微调模型的选择范围,目前大量创业公司使用LLaMA2、StableDiffusion等开源模型调优并推出新产品。在研发门槛降低方面,应用开源模型具有规避初始高昂投资、私有数据的完全控制、可自我迭代优化等优势。开发者基于开源模型,可快速搭建具备专业领域知识的垂类任务模型,大幅缩减了模型从开发到应用所需的算力、数据和时间成本。例如,开源平台Github上显示,基于智谱AI开发的Chat-GLM开源模型,大幅降低了研发门槛,有11个模型脱颖而出,覆盖医疗、法律、金融、教育等多个领域3。 开放接口为开发者提供便捷。除了模型开源,开放易用的API和SDK也是促进人工智能生态繁荣的重要一环。一方面,接口开放将简化开发流程并提升效率。开放接口帮助开发者无需从头开始编写算法或模型,大大简化开发流程,减少开发时间和工作量。例如,通过调用GPT-3.5-Turbo模型API开放接口,仅需少量Python代码就可实现代码生成、对话代理、语言翻译、辅助学习等复杂功能。另一方面,接口开放可以丰富模型的应用场景。接口开放可以帮助广大开发者更便捷地接入模型能力,形成更加多样化的应用场景。例如,百度文心一言提供的接口可以应用于搜索、推荐、对话等场景,提升应用效果和用户体验。 开发者社区持续推动技术扩散。开发者社区通过提供免费算力、课程教材、公开数据集和模型套件等工具组件,赋能培养具备模型开发能力的人才,对于推动人工智能领域的技术交流和发展起到了积极的促进作用。例如,HuggingFace提供了一键式的预训练