新兴技术策展系列5生成型人工智能（英）

技术与创新实验室 EMERGING 技术 CURATION系列 问题5： 生成人工智能fi 韩国fice ACKNOWLEDGEMENTS WBKoreaOce 杰森·迈克尔·奥尔福德(特别代表) 世界银行集团，技术和创新实验室(ITSTI) YusufKaracaoglu（董事兼高级顾问），StelaMocan（经理），JinheePark（ITOCer)，YongdaeKim(ITOCer)，YusakuKawashima(SeniorITOCer) ©2023世界银行1818H街西北 华盛顿特区20433 电话：202-473-1000 互联网：www.worldbank.org ThisworkisaproductofthestassoftheWorldBankwithexternalconvertions.Thefindings, 解释，在这项工作中表达的结论不一定会反映以下观点世界银行、其执行董事会或他们所代表的政府。 世界银行不保证这项工作中包含的数据的准确性。 在此工作中的任何地图上显示的边界、颜色、面额和其他informati不暗示世界银行对任何领土或领土的法律地位的任何判断 认可或接受这样的边界。 权限和权限 Thematerialinthisworkissubjecttocopyright.BecauseTheWorldBankencouragesdispansionation 根据其知识，本作品可以全部或部分复制，用于非商业目的只要满在三，但iono这项工作是给出的。 有关权利和许可，包括附属权利的任何疑问，应向世界银行提出 Publications,TheWorldBankGroup,1818HStreetNW,Washington,DC20433,USA;fax:202-522-2625；电子邮件：pubrights@worldbank.org。 技术与创新实验室 EMERGING 技术 CURATION系列 问题5： 生成人工智能fi 韩国fice Contents 首字母缩略词……………………………………………………………………………………………………… ………………………………………………………………………………………………………………………… ……………………5 介一绍、生…成…人……工…智…能…的…基…础……………………………………………………………………………………………………………………………………… ………………………………………………………………6………………………………………………………………… ……………………………………………………………………… 二、生成人工智能的简要历史…………………………………………………………………… ………显…式密…度…模…型……15……………………………………………………………………………… ………………………………………………………………………… 隐含密度模型16 III.生成AI的类型及其工作原理14 iV。生成AI的Benefits。。。。。。。。。。。。。。。。。。。。。。。。。。。。。 。。。20 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。创造力和可扩展性21 。。。。。。。。。。 EFfi效率与生产率21 五、工业中的生成式AI应用…………………………………………………………………………………………………………… 23 …………………………………………………………………………………………………………………………………… 医疗保健和药品 制造业24 媒体、艺术和娱乐时尚25 电子商务与市场营销26 六、国际发展的机会27 七、局限性和注意事项29 八、韩国的人工智能公共部门举措…… 韩国对AI的态度…… 生成AI的策略和方法....................................... 私营部门举措…… 首字母缩略词 AIArtificialItelligence BERT双向变压器代表 RoBERT强烈选择imiedBERT CLIP对比语言图像预训练 GANGPTLLMMCSTMSITMTIENLP Generatie敌对网络Generatie预训练变压器大型语言模型 文化、体育和旅游部科学和ICT部 贸易、工业能源部自然语言处理 SOC社会间接费用资本 GSNCNNRNNNADEMADEVAERMFCVPRADADNA GeneratieStochasticNtwork 卷积神经网络循环神经网络 神经自回归密度Estimtor 蒙面自动编码器的DistributionEtimtioVariational自动编码器 风险管理框架 计算机视觉和帕恩识别 AdaptieDiscriminatorAuggmentatio 脱氧核糖核酸 INTRODUCTION Generatieartifiialintelligence(AI)一直在快速发展，并且已经掌握了近年来，fi取得了许多进步和突破。 下一代AI市场预计将从2021年的15亿美元增长到6.5美元到2026年达到10亿-复合年增长率为34.9%。1 认识到新一代人工智能在研究和实践中的重要性日益提高应用，包括它用于解决内部发展挑战，这 报告提供了对人工智能的全面概述，介绍了基础知识，在我的身上解释了它的发展，并检查了它的类型和应用。突出说明GeneratveAI的优势和能力，报告探讨了如何它可以应用于各种行业，如医疗保健，制造，媒体，和娱乐，然后讨论有效的机会和限制 用户必须考虑。最后，它描述了韩国 政府和私营部门的参与者已经实施了采用和推进产生于韩国和全球市场的人工智能。 新兴技术系列“GeneratveAI”中的fift问题是世界银行集团内部技术解决方案的合作伙伴技术和世界银行韩国国家办事处。该系列捕获 新技术和趋势，并分享知识，以帮助解决国际问题发展挑战。 1市场和市场。“生成人工智能市场规模、趋势、驱动因素、机会和全球定位系统-2030”。hts:// www.marketsandmarkets.com/Market-Reports/generatie-ai-market-142870584.html?gclid=Cj0KCQjwu-KiBhCsARIs-APztUF0gXS7BeDcvYDNoFzfnFc2h8SwFE1eGogR5ZrF-YGrVmYpjmpuxEwcaAq1OEALw_wcB。 I. 的基础 GENERATIVE 人工智能 G artner，Inc.宣布关键字“generatiearticialintel-Ligence(AI)“作为战略领域的顶级战略技术趋势 2022年的技术，并预1测，到2025年，将产生人工智能将产生所有数据的10%，而目前不到1%。 GeneratveAI是一种破坏性的ve机器学习算法，可以学习 来自数据的内容，并使用它来完全地产生creatie，realistic，新的输出。它不是一种只在一个有很多东西的世界上工作的技术数据驱动的人工智能擅长的数据；它可以从 少量的informationand可用于各种fi领域，并用于各种应用程序 •艺术与设计：GeneratieAI创建独特的，多样化的艺术品，例如数字涂料三维设计和动画。OpenAI的DALLE2和Stabilty.AI的稳定 Diffusion是此类领域的流行示例。Lexica.art是一个收集 使用GeneratveAI通过StableDi<unk>usion创建的图像(图1)。2 •音乐:AI算法可以使用输入数据和用户偏好生成音乐曲目 并可以分析存在的NG音乐数据，了解paterns和结构，并生成符合用户偏好和特定fic标准的音乐，如流派、风格或 心情。 •文本:GeneratieAI可以制作内容、创作内容、故事、诗歌和编程代码，可用于生成对客户的自动响应 查询客户服务。ChatGPT(generatvepretrainedtransformer)OpenAI是这个应用程序的一个流行的例子3 •演讲稿:GeneratieAI可以获取内容并创建适当的语音音频。用户 输入文本，人工智能将其转换为真实的语音。生成的语音可以使用用于各种目的，包括语音响应系统和虚拟助手。不像 传统的文本到语音系统，它产生更自然的声音，表达演讲。4 1Gartner。2021年。“GartnerIdentifiestheop2022年战略技术趋势”。hts://www.gartner.com/en/newsroom/press-re- 租赁/2021-10-18-gartner-identifies-t-op-2022年战略技术趋势。 2词汇.艺术。hts://词汇.艺术/。 3OpenAI。"介绍ChatGPT"hts://openai.com/blog/chatgpt/ 4WellSaid实验室。hts://wellsaidlabs.com/ 8新兴技术固化系列 图1. 使用通用人工智能创建的图像 资料来源：Lexica.ar. I.生成Artfi社会智能的基础9 II. 简介历史 GENERATIVEAI G eneratieAI是从20世纪50年代和60年代开始发展起来的，当计算机图形系统开始使用 传统统计模型，如马尔可夫模型和蒙特模型 Carlosimulatons.IanGoodfellowandcolleaguesintroducedthegeneratve 对抗网络(GAN)在2014年，它已成为最 流行和成功的一代模型。因此，公众成为5 了解AI的产生。图灵奖获奖的计算机科学 LeCun将GAN模型描述为“最后一个最感兴趣的想法” 十年的机器学习。“ 在更广泛的人工智能的可用性的推动下，新一代人工智能的进展迅速结束，更多样化的数据集、更先进的算法和更强大的计算机硬件。 人工智能用于许多应用，包括图像和视频合成、语音合成和它仍然是一个行为研究领域，有了新的模型和应用 不断发展。 2017年，变压器型号，6-自然语言fi领域的一种开创性方法 processing-wasproposed.Largelanguagemodels(LLM)suchasGPT3,RoBERT,Gopher, BERT开始获得广泛的普及和接受。7LLM是一种神经因其大小而被称为LLM的网络模型。语言模型通常由 数以千亿计的参数。由于模型的大小，它可以了解复杂的 输入文本中单词和短语之间的关系。例如，BERT大约有340个 百万参数。OpenAI的GPT-2（2019年推出）有15亿个参数，GPT-3(2020年推出)有1750亿。这些模型的大小决定了它们的质量。A 具有许多参数的模型允许做以前做不到的事情。8These大型模型在广泛的自然语言上实现了最先进的性能 处理任务（图2）。自然语言处理任务包括发送 分析、回答探索、文本总结、文本分类、文本生成等等。自从LLM的开发以来，科技公司已经开发出了超级LLM。 5伊恩·古德费罗、让·普吉特·阿巴迪、梅赫迪·米尔扎、徐冰、大卫·沃德-法利、谢尔·奥扎尔、亚伦·考维尔和吉舒亚·本吉奥。 2014年。“对抗性网络生成”。hts://arxiv.org/abs/1406.2661. 6AshishVaswani，NoamShazeer，NikiParmar，JakobUszkoreit，LlionJones，AidanN.Gomez，VaultukaszKaiser和IlliaPolosukhin。2017年。 "我只需要你。"神经成像系统的研究进展30. 7JacobDevlin,Ming-WeiChang,KentonLee,andKristinaoutanova.2018.“BERT:Pre-TrainingofDeepBidirectionalransformersfor 语言理解。“。arXiv：1810.048