2024大模型技术及其在金融行业的应用探索报告

星环科技，构建明日数据世界 ShapingtheFutureDataWorld 大模型技术及其在金融行业的应用探索 星环科技：東方 2024年11月21日 星环信息科技（上海）股份有限公司 www.transwarp.cn Copyright©2024Transwarp.AllRightsReserved. 目录 01背景知识 02大模型应用体系建设 03大模型在金融行业的应用探索 扫码体验无涯 星环科技，构建明日数据世界 www.transwarp.cn/wuya-ai.com 无涯·问知：让知识即刻呈现，让回答值得信赖 Copyright©2024Transwarp.AllRightsReserved.7 01 背景知识 构建明日数据世界 www.transwarp.cn Copyright©2024Transwarp.AllRightsReserved. ChatGPT引发的巨大关注 ChatGPT带来的震撼 1.技术突破：基于大规模预训练技术和更长的上下文长度，这使得它在对话流畅性、多轮对话、复杂语义理解等多个传统的NLP任务上取得了巨大的进展。 2.用户体验：ChatGPT的交互体验非常接近人类，它能够理解和生成自然语言，这使得用户感觉与一个真正有逻辑思维和语言交流能力的真人进行交流。 3.研究范式改变：它的出现改变了NLP的研究范式，从传统的统计学习方法和词嵌入方法，到预训练加微调范式，再到如今的大语言模型。 4.应用潜力：其展示出了在众多领域的应用潜力。产业界积极进行场景实践。 5.社会影响：引发了对AI技术的广泛讨论，包括其在伦理、安全和隐私方面的挑战。甚至已经符号化。 2022年11月30日，OpenAI的生成式对话模型服务ChatGPT发布 一些关于ChatGPT的评论 1.埃隆·马斯克和比尔·盖茨都对ChatGPT表示了高度评价。马斯克认为ChatGPT“厉害得吓人”，而比尔·盖茨则认为ChatGPT的问世具有重大的历史意义，这种人工智能技术的诞生不亚于互联网或个人电脑的诞生。 2.英伟达CEO黄仁勋也对ChatGPT给予了高度评价，他盛赞ChatGPT的诞生堪比iPhone问世。 3.澎湃新闻将2022年11月30日视为可能改变人类历史的日子，他们认为ChatGPT不仅催生了人工智能界的又一轮高光期，还并不常见地被誉为“蒸汽机时刻”、“iPhone时刻”甚至“钻木取火时刻”。 GPT-4接受图灵测试 生成毁灭人类计划引关注和对于大语言模型的思考 Copyright©2024Transwarp.AllRightsReserved. 《DoesGPT-4passtheTuringtest?》arXiv.2310.20216 《PeoplecannotdistinguishGPT-4fromahumaninTuringtest》arXiv.2405.08007 9 大模型发展历程 2006 2013 2014 GeoffreyHinton提出逐层无监督预训练方式，缓解深度学习模型梯度消失问题。 TomasMikolov和他的团队提Word2Vec 词向量模型。 IanGoodfellow等人首次提出GAN生成式对抗网络概念。 20182017 基于Transformer架构的与训练微调，模型在多种NLP任务上的性能。 Google提出Transformer架构。开创性的进步，引领NLP新纪元。 2020 2022 2023 参数规模达到惊人的1750亿。对算力的巨大需求正式拉开。 OpenAI正式发布ChatGPT，引发社会广泛关注。 超大规模多模态预训练大模型。 Copyright©2024Transwarp.AllRightsReserved.10 大模型的大（强） 通常包含数十亿甚至数千亿个参数，这些参数在训练过程中被调整以最小化损失函数。 为了训练这些模型，需要大量的数据。这些数据可以是文本、图像、音频或其他类型的数据，用于训练模型识别模式和做出预测。 由于模型的规模和数据量，大模型通常需要大量的计算资源，如高性能的GPU集群，以及大量的内存和存储空间。 大模型由于其复杂性，通常具有很强的泛化能力，能够在未见过的数据上也表现出良好的性能。 处理和理解多种不同类型的数据输入和输出，例如文本、图像、视频和音频等。使得模型可以跨不同领域和应用场景迁移知识，提供更全面和深入的理解。 大模型通常可以在一个任务上预训练，然后在其他相关任务上进行微调，这种迁移学习的能力使得模型可以适应新的数据和任务。 Copyright©2024Transwarp.AllRightsReserved.11 大语言模型的众多优秀能力为产业深度利用打下坚实基础 广泛的常识：大模型通过在大规模文本数据上的预训练，学习到了语言的潜在结构、语法规则和语义关系，因此具备了广泛的常识。例如，它们可以理解和生成涉及各种主题的文本，从科学知识到日常对话。 推理能力：大模型能够进行逻辑推理和问题解决。例如，在算术或逻辑推理任务中，通过构建思维链提示技术，模型能够分步骤解决问题，类似于人类的思考过程。 理解能力：大模型能够理解复杂的指令和上下文信息，这使得它们在执行任务时更加精准。例如，它们可以根据邮件的主题自动撰写回复，理解用户的需求并生成合适的内容。 上下文学习：大模型能够根据上下文信息进行学习和预测，这使得它们在处理具有上下文依赖性的任务时更加有效。例如，它们可以根据对话历史理解和生成连贯的回应。 语言生成能力：大模型能够创造性地生成新的内容，包括文本、图像等。例如，它们可以撰写文章、故事，甚至生成代码，展现出强大的语言创造能力。 多任务能力：大模型在预训练后能够泛化到多个下游任务，无需大量针对特定任务的训练数据。例如，GPT-3模型在多种自然语言处理任务上展现出了令人瞩目的成果。 多模态理解能力：最新的大模型如GPT-4展示了更强的推理与多模态理解能力，能够处理包括文本、图像在内的多种类型的数据。 Copyright©2024Transwarp.AllRightsReserved. 基于常识的推理 文学创作 以上结果由星环无涯问知生成，www.wuya-ai.com 12 大模型产业发展-政策端：各级对大模型技术应用的支持与管理政策 在2024年3月发布的《政府工作报告》中，中央政府明确了对人工智能产业的顶层设计，主要聚焦于供给侧的“创新生产力”和需求侧的“促进内需”两大领域。报告提出了针对数据资源、计算能力、市场环境和应用场景的多项具体措施，以推动人工智能产业的全面发展。 国家级引导政策： 《新一代人工智能发展规划》：这份规划由国务院于2017年发布，旨在抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国。 《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》：由科技部等六部门于2022年印发，目的是落实《新一代人工智能发展规划》，系统指导各地方和各主体加快人工智能场景应用，推动经济高质量发展。 《生成式人工智能服务管理暂行办法》：该政策旨在促进生成式人工智能健康发展和规范应用，维护国家安全和社会公共利益。 《“数据要素×”三年行动计划（2024-2026年）（征求意见稿）》：由国家数据局起草，提出支持开展通用人工智能大模型和垂直领域人工智能大模型训练，以发挥数据要素乘数效应，赋能经济社会发展。地方支持政策： 《北京市促进通用人工智能创新发展的若干措施》：该政策旨在充分发挥政府引导作用和创新平台催化作用，整合创新资源，加强要素配置，营造创新生态，重视风险防范，推动本市通用人工智能实现创新引领和理性健康发展。 《北京市促进未来产业创新发展实施方案》：此方案旨在抢抓新一轮科技和产业变革机遇，促进未来产业创新发展，推动北京教育、科技、人才优势转化为产业优势。 《北京市加快建设具有全球影响力的人工智能创新策源地实施方案（2023-2025年）》：该方案的目标是高水平建设北京国家新一代人工智能创新发展试验区和国家人工智能创新应用先导区，加快建设具有全球影响力的人工智能创新策源地。 《北京市推动“人工智能+”行动计划（2024-2025年）》：这个行动计划的目标是通过实施标杆型应用工程、示范性应用项目和商业化应用成果，力争到2025年底形成3至5个先进可用、自主可控的基础大模型产品、 100个优秀的行业大模型产品和1000个行业成功案例。 《上海市推动人工智能大模型创新发展若干措施（2023-2025年）》：这份通知由上海市经济和信息化委员会、上海市发展和改革委员会、上海市科学技术委员会、中共上海市委网络安全和信息化委员会办公室、上海市财政局联合制定。它旨在推动上海大模型创新发展，构建开放安全创新生态，加快打造人工智能世界级产业集群。 《推动区块链、大模型技术赋能生产性互联网服务平台发展实施方案》：由上海市经济和信息化委员会、上海市商务委员会联合发布，目的是推动区块链、大模型等前沿技术与平台深度融合，促进生产性互联网服务平台的高质量发展。 《上海市推进“人工智能+”行动打造“智慧好办”政务服务实施方案》：这份通知由上海市人民政府办公厅发布，目的是推进政务服务领域“人工智能+”行动，打造快捷易办的“智慧好办”政务服务品牌。 《上海打造未来产业创新高地发展壮大未来产业集群行动方案》：由上海市人民政府发布，旨在贯彻落实创新驱动发展战略，全力做强创新引擎，培育发展新动能，打造未来产业创新高地、发展壮大未来产业集群。 各地AI大模型产业支持政策还有：北京、上海、山东、广东、安徽、福建和深圳、杭州、成都等地均发布了AI大模型的相关产业政策，以加速大模型应用落地。 Copyright©2024Transwarp.AllRightsReserved.13 大模型产业发展-需求端：企业端对生成式AI强劲需求 根据SAS和ColemanParkes调研，中国在生成式人工智能的应用率上领先，在“将生成式AI与现有业务流程进行全面覆盖及整合”的使用程度占比达到19%；在“已进行部署生成式AI但尚未完全覆盖整合”的使用程度上占比达到64%。总比例83%，位居全球第一。美国在该两个维度上则分别达到24%和41% IDC《2024AIGC应用层十大趋势白皮书》中调研显示，从全球化B端（企业端）的应用场景看，作为需求方，知识管理场景是AIGC现在最受企业青睐的应用场景，全球市场、中国市场及美国市场受访企业对此场景的期待应用分别占到了52%、52.2%及60% 上表引用自-艾瑞咨询-《2023年中国人工智能产业研究报告》第23页 本主要内容引用自-创业邦《2024AIGC创新应用洞察报告》第19页 Copyright©2024Transwarp.AllRightsReserved.14 大模型产业发展-供给端：在大模型带动下的AI产业蓬勃发展，百花齐放 Copyright©2024Transwarp.AllRightsReserved. 本页内容来自于艾瑞咨询-《2023年中国人工智能产业研究报告》第22页 15 本报告来源于三个皮匠报告站（www.sgpjbg.com）,由用户Id:444287下载,文档Id:182377,下载日期:2024-11-25 02 大模型应用体系建设 构建明日数据世界 www.transwarp.cn Copyright©2024Transwarp.AllRightsReserved. 五种方法快速构建大模型商业应用 利用企业自身数据，快速搭建，构建 Copyright©2024Transwarp.AllRightsReserved. 五种方法快速构建大模型商业应用–L1 •快速搭建企业领域知识平台，构建专家级领域大模型应用。