新兴技术策展系列5-生成型人工智能（英）

授权公开披露 授权公开披露 授权公开披露 授权公开披露 技术与创新实验室 韩国办事处 EMERGING技术定制系列 问题5： 生成人工智能 ACKNOWLEDGEMENTS 世界银行韩国办事处 杰森·迈克尔·奥尔福德(特别代表) WBG，信息技术解决方案，技术与创新实验室（ITSTI） YusufKaracaoglu（董事兼高级顾问），StelaMocan（经理），JinheePark（IT官员），YongdaeKim（IT官员），YusakuKawashima（高级IT官员） ©2023世界银行1818HStreetNWWashingtonDC20433 电话：202-473-1000互联网 ：www.worldbank.org 这项工作是世界银行工作人员在外部贡献下的产物。这项工作中表达的调查结果、解释和结论不一定反映世界银行、其执行董事会或他们所代表的政府的观点。 世界银行不保证本作品中包含的数据的准确性。本作品中任何地图上显示的边界，颜色，面额和其他信息并不意味着世界银行对任何领土的法律地位或认可或接受此类边界的任何判断。 权限和权限 本作品中的材料受版权保护。由于世界银行鼓励传播其知识，因此只要给予该作品的全部归属，就可以出于非商业目的全部或部分复制该作品。 有关权利和许可，包括附属权利的任何疑问，应向世界银行出版物，世界银行集团，华盛顿特区西北 1818号H街，美国，DC20433；传真：202-522-2625；电子邮件：pubrights@worldbank.org。 技术与创新实验室 韩国办事处 EMERGING技术定制系列 问题5： 生成人工智能 Contents I.生成人工智能的基础7 II.生成AI10的简要历史 III.生成AI的类型及其工作原理14 模型15 iV.GenerativeAI20的好处 可扩展性21 V.工业中的生成AI应用22 市场营销26 VI.国际发展的机遇27 VI.局限性和注意事项29 VII.韩国的AI32 ....................................................................................................................35 首字母缩略词 AIBERT 人工智能来自变压器的双向编码器表示 RoBERT 稳健优化的BERT CLIP 对比语言图像预训练 GAN 生成对抗网络 GPT 生成预训练变压器 LLM 大型语言模型 MCST 文化、体育和旅游部 MSIT 科学和ICT部 MTIE 贸易、工业能源部 NLP 自然语言处理 SOC 社会间接费用资本 GSN 生成随机网络 CNN 卷积神经网络 RNN 循环神经网络 NADE 神经自回归密度估计器 MADE 用于分布估计的屏蔽自动编码器 VAE 变分自动编码器 RMF 风险管理框架 CVPR 计算机视觉与模式识别 ADA 自适应鉴别器增强 DNA 脱氧核糖核酸 INTRODUCTION 生成人工智能（AI）发展迅速，近年来引起了广泛关注，取得了许多进步和突破 。生成人工智能市场预计将从2021年的15亿美元增长到2026年的65亿美元，复合年增长率为34.9％。 认识到生成AI在研究和实际应用中日益重要，包括其用于解决国际发展挑战，本报告提供了生成AI的全面概述，介绍了基础知识，解释了其随时间的发展，并研究了其类型和应用。在强调了生成AI的优势和能力之后，该报告探讨了如何将其应用于医疗保健，制造，媒体和娱乐等各个行业，然后讨论了用户必须考虑的潜在机会和限制。最后，它描述了韩国政府和私营部门参与者为在韩国和全球市场采用和推进生成人工智能而实施的举措和战略。 新兴技术系列的第五期“生成AI”是世界银行集团信息技术解决方案技术和世界银行韩国国家办事处合作的结果。该系列捕获了新技术和趋势，并分享了知识以帮助解决国际发展挑战。 1MarketsandMarkets。“生成的AI市场规模，趋势，驱动因素，机会和全球预测-2030。”https://www.marketsandmarkets.com/Market-Reports/generative-ai-market-142870584.html? I. 遗传人工智能的基础 G artner，Inc.宣布关键字“生成人工智能（AI）”是20221年战略技术的顶级战略技术趋势，并预测到2025年，生成AI 将产生所有数据的10%，而目前不到1%。生成AI是一种颠覆性的机器学习算法，可以从数据中学习内容，并使用它来产生创造性、逼真、全新的输出 。它不是一种仅在拥有大量数据的世界中才能工作的技术，这是数据驱动的AI擅长的；它可以从少量的信息中创建新事物，并且可以用于各个领域和各种应用。 •艺术与设计：创成式AI创造独特的、多样化的艺术品，如数字绘画、三维设计和动画。OpenAI的DALLE2和Stabilty.AI的StableDiffusion是这类领域的流行例子。Lexica.art是一个网站，收集使用创成式AI通过StableDiffusion创建的图像（图1）。2 •音乐:人工智能算法可以使用输入数据和用户偏好生成音乐曲目，并可以分析现有音乐数据，理解模式和结构，并生成与用户偏好和特定标准（如流派、风格或情绪）相一致的音乐。 •文本:生成式AI可以生成内容，创建文章，故事，诗歌和编程代码，并可用于生成对客户查询的自动响应，以获取客户服务。OpenAI的ChatGPT（生成式预训练转换器）是此应用程序的一个流行示例。3 •演讲稿:生成的AI可以获取内容并创建适当的语音音频。用户输入文本，然后AI将其实时转换为语音。生成的语音可用于各种目的，包括语音响应系统和虚拟助手。与传统的文本到语音系统不同，它生成的语音更自然，更具表现力。4 1Gartner。2021。“Gartner确定了2022年的顶级战略技术趋势。”http://www.gartner.com/en/newsroom/press-re-leases/2021-10-18-gartner-identifies-the-top-strategic-technology-trends-for-2022. 2Lexica.art.https://lexica.art/. 3OpenAI。“介绍ChatGPT”https://openai.com/blog/chatgpt/ 4WellSaid实验室。https://wellsaidlabs.com/ 8新兴技术固化系列|生成式人工智能 图1. 使用通用人工智能创建的图像 资料来源：Lexica.ar. I.生成人工的基础Intelligence9 II.简介 一代AI的历史 G 积极的人工智能是从20世纪50年代和60年代开始发展起来的，当时计算机图形系统开始使用传统的统计模型来开发，如马尔可夫模型和蒙特 获得图灵奖的计算机科学家YannLeCun将GAN模型描述为“过去十年机器学习中最有趣的想法”。 在更广泛、更多样的数据集、更好的算法和更强大的计算机硬件的推动下，生成式人工智能的进展持续迅速。生成式人工智能用于许多应用，包括图像和视频合成、语音合成和语言生成。它仍然是一个活跃的研究领域，新模型和应用不断开发。 2017年，提出了Trasformer模型6-自然语言处理领域的开创性方法。大型语言模型（LLM），例如GPT3，RoBERT，Gopher和BERT开始广泛流行和采用。7LLM是一种神经网络模型，由于其大小而被称为LLM。语言模型通常由数千亿个参数组成。由于模型的大小，它可以了解输入文本中单词和短语之间的复杂关系。例如，BERT有大约3.4亿个参数。OpeAI的GPT-2（2019年推出 ）有15亿个参数，GPT-3（2020年推出）有1750亿。这些模型的大小决定了它们的质量。具有许多参数的模型允许完成以前无法完成的事情。8这些大型模型在广泛的自然语言处理任务上实现了最先进的性能（图2）。自然语言处理任务包括情感分析，问答，文本摘要，文本分类 ，文本生成等。自LLM最初开发以来，技术公司就开发了超级LLM。 5IanGoodfellow,JeanPouget-Abadie,MehdiMirza,BingXu,DavidWarde-Farley,SherjilOzair,AaronCourville,andYoshuaBengio.2014."GenerativeAdversarialNetworks".https://arxiv.org/abs/1406.2661. 6AshishVaswani,NoamShazeer,NikiParmar,JakobUszkoreit,LlionJones,AidanN.Gomez,VaultukaszKaiser,andIlliaPolosukhin.2017.“注意是所有你需要的。”神经信息处理系统的研究进展30. 7JacobDevlin,Ming-WeiChang,KentonLee,andKristinaToutanova.2018.“BERT:语言理解深度双向变形金刚的预训练.”arXiv:1810.04805. 8JordiTORRES.AI。2022。“变形金刚：越大越好”，https://towardsdatascience.com/transformans-the-bigher-the-better-19f39f222ee3。 二、生成简史AI11 2021年，OpeAI推出了DALL-E，这是一种生成AI模型，可以从文本创建图像。与其他LLM一样 ，它基于变压器模型，并在大量图像和文本描述数据集上进行训练，以便它可以学习以能够生成高度详细，富有想象力的图像的方式将两种模式关联在现实世界中不存在。2022年，引入了Midjorey9和稳定扩散，10个类似于DALL-E的AI程序，这些程序可以从文本描述中生成图像。中程是一个独立的研究实验室，可以使用Discord机器人访问其服务。它产生的图像类似于艺术品而不是照片。它可以免费使用25次。 图2. 图像和语言中的人工智能系统功能 资料来源：DoweKiela，MaxBartolo，YixiNie，DivyashKashi，AtticsGeiger，W征选，BertieVidge，GrshaPrasad，AmapreetSigh，PratiRigshia，MaZhiyi，TristaThrsh，SebastiaRiedel，Z2021年。“Dyabech：重新思考NLP基准”2021年计算语言学协会北美分会会议论文集：人类语言技术，4110-4124。https://aclathology.org/2021。aacl-mai.324/。 9中途。https://midjourney.com/ 10稳定的扩散。https://stablediffusionweb.com/ 12新兴技术固化系列|生成式人工智能 图3. 文本到图像生成人工智能(AI)模型的输入和输出 “有一座山的火箭” 文本到图像创成式AI模型 2022年，StabilityAI创建了一个开源模型StableDiffsio；所有信息都被共享，以便个人自由访问和利用模型，因为所有信息都被公开共享。通过这种方式，StableDiffsio创造了一个开发人员和设计师可以轻松应用图像生成AI模型的环境，这在创建当前生成AI全球趋势方面发挥了主导作用。 11稳定扩散版本2.https://github.com/Stability-AI/stablediffusion. II.生成简史AI13 III. 一代人工智能的类型及其工作原理 I发明GAN的Goodfellow根据生成AI模型如何对目标数据分布进行建模， 将其分为两类。他使用的标准是模型如何定义目标数据分布的概率密度函数 。根据定义的