大模型落地路线图研究报告（2024年）

大模型落地路线图研究报告 (2024年) 中国信息通信研究院人工智能研究所 人工智能关键技术和应用评测工业和信息化部重点实验室2024年9月 版权声明 本报告版权属于中国信息通信研究院，并受法律保护。 转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，编者将追究其相关法律责任。 更名声明 原“集智”蓝皮报告更名为“集智”专题报告。“集智” 专题报告将聚焦于特定领域或主题的深入探讨，提供更为专业和集中的内容分析。 前言 近年来，大模型技术能力不断创出新高，产业应用持续走深向实，显著加快人工智能通用化、实用化、普惠化发展进程。大模型兼具理论研究和产业应用双重价值，已成为当前科技前瞻布局和创新研发的焦点，受到国际社会高度关注。系统梳理大模型应用落地的共性需求和关键要素，给出现状诊断、能力建设、应用部署、运营管理等落地路线作为参考，将进一步促进大模型赋能千行百业，为打造新质生产力和推进新型工业化开辟新路径。 本报告重点梳理了大模型应用落地遵循的诊断、建设、应用、管理四个重要阶段，归纳总结出能力分析、需求挖掘、方案设计、研发测试、应用开发、效能评估、运维监测、运营管理八个关键步骤。基于需求拉动、问题驱动、创新推动原则，研究分析在每一步骤中基础设施层、数据资源层、算法模型层、应用服务层、安全可信层应重点关注的发展要素和亟待解决的核心问题。现状诊断阶段，通过分析大模型技术能力、梳理大模型应用场景、评估大模型发展基础，帮助应用方明晰业务发展和转型需求。能力建设阶段，设计契合应用方战略规划和业务需求的大模型建设方案，通过系统性研发和测试手段筑牢大模型技术底座。应用部署阶段，给出专用大模型优化部署和智能应用定制开发等参考模式，并构建出覆盖大模型设计开发、定制优化、部署运营等全生命周期的应用效能评估体系。运营管理阶段，面向大模型平台和服务给出运维监测和运营管理的参考模式，给出实时监测、动态追踪和预警机制等具体方法，指出 建立健全大模型运营管理体系的原则和要点。 未来，大模型有望持续为新一轮人工智能阶跃式发展注入强大动能，进一步助力人工智能实现技术能力不断融合创新、应用场景持续纵深拓展、产业生态加速转型升级、治理体系趋于完善稳健。本研究报告对大模型应用落地的研究和理解还有待加强，报告中如有不足之处，还请各方专家读者不吝指正。 一、大模型发展情况概述1 （一）全面提升多模态感知能力，推进认知智能走深向实2 （二）大模型场景落地百花齐放，擘画智能应用生态蓝图5 （三）技术选型与工程实践掣肘，亟需开展落地路线研究7 二、诊断大模型能力基础9 （一）评估大模型能力发展现状，深入挖掘业务转型需求9 （二）梳理人财物要素就绪情况，系统评估人工智能基础10 （三）挖掘各类软硬件资源需求，统筹规划业务发展目标12 三、筑牢大模型技术底座15 （一）剖析大模型关键落地路线，科学确立技术选型原则15 （二）设计大模型智能系统架构，制定科学有效解决方案16 （三）系统研发大模型技术底座，全面开展功能性能测试20 四、革新大模型应用范式24 （一）参照业务场景个性化需求，定制化调优专用大模型24 （二）开发大模型原生智能应用，实现大小模型协同赋能25 （三）构建全链路效能评估体系，形成诊建用评有效闭环30 五、构建大模型管理体系33 （一）梳理国内外模型治理要点，明晰运营管理体系价值33 （二）实时监测大模型运行过程，确保高效稳定提供服务34 （三）建立健全大模型管理体系，保障业务高效稳定开展37 六、大模型发展趋势展望40 （一）探索大模型架构优化方案，带动技术应用双重涌现40 （二）紧抓行业数字化转型机遇，全方位打造新质生产力42 （三）加强引导大模型可信发展，对齐人类偏好及价值观43 图1大模型底层技术支撑人工智能发展2 图2大模型的多维感知能力和认知能力4 图3大模型行业应用图谱6 图4大模型应用场景7 图5应用方能力基础就绪度等级表10 图6大模型发展能力就绪度评估指标体系12 图7需求分析的关键要素15 图8大模型建设方案设计的关键要素20 图9百度智能云千帆大模型平台24 图10讯飞星火认知大模型云服务平台30 图11大模型应用成熟度评估体系33 表目录 表1模型生态主要选型方案18 表2模型优化主要选型方案18 表3模型部署主要选型方案18 表4模型规模主要选型方案18 表5AIAgent能力及特点27 一、大模型发展情况概述 大模型是指具有大规模参数和复杂结构的深度神经网络模型，通常在训练过程中高度依赖海量的数据资源和强大的计算能力。近年来，算力水平的飞跃、数据规模的激增、算法能力的突破为大模型的长足发展提供了坚实的技术基础。大模型技术能力的持续优化和升级、应用场景的不断丰富和细化，以及各行业实现智改数转的需求日益高涨，共同促使大模型的应用市场呈现出欣欣向荣的发展态势。 大模型技术能力的突破得益于算力设施、数据资源、计算模式、网络架构等方面的源头创新。算力设施上，智能计算集群的快速发展为大模型的算力需求提供了坚实的基础保障。为满足万亿参数大模型的计算需求，NVIDIA发布了超强人工智能加速卡BlackwellGB200，通过芯片间的互连技术实现计算能力的代际飞跃。该芯片相较于H100，在大模型训练性能上提升3倍1，在推理速度上提升30倍，显著降低了训练推理的成本和能耗。数据资源上，大规模、高质量、多类型的数据集蕴含着丰富的语义知识，有助于提高大模型的技术能力，充分释放出大模型在不同场景下的应用价值。计算模式上，通过分布式并行、混合精度计算2等方法实现训练加速，通过模型压缩和蒸馏、低精度推理3等方法实现推理加速，可有效提升计算资源的利用率。为加速大模型的训练过程，百度飞桨推出4D混合并行策略，通过模型并行、参数切片并行、流水线并行和数据并行等方式可支持训练千 1 https://developer.nvidia.com/zh-cn/blog/nvidia-gb200-nvl72-delivers-trillion-parameter-llm-training-and-real-time -inference/ 2https://huggingface.co/docs/transformers/perf_train_gpu_one#fp16 3https://arxiv.org/abs/2210.17323 亿级稠密参数模型，相比其他3D混合并行策略至少提速23.7%。网络架构上，以Transformer为代表的主流架构不断迭代增强，进一步提升大模型的数据建模和泛化能力，不断突破大模型在长序列任务上的瓶颈。例如，在Transformer解码器的基础上融入混合专家模型可以有效提升大模型的性能表现4。基于Mega架构改进的Megalodon能够处理无限上下文，有效提高了大模型在长上下文上的训练推理的质量和效率。 在上述底层技术的有力支撑下，大模型的技术能力不断提升，在“听、说、看”等感知领域已接近或超越了人类水平，在理解、思考和创造等认知领域已取得显著进展。目前，大模型的研究重心逐步向认知智能转变，这是新一代人工智能的发展趋势。 图1大模型底层技术支撑人工智能发展 来源：公开资料整理 （一）全面提升多模态感知能力，推进认知智能走深向 实 大模型的智慧不断涌现，为感知智能和认知智能的发展注入活力。一方面，大模型的多模态感知能力能够融合文本、图像和语音等不同 4https://arxiv.org/pdf/2305.14705 模态信息，实现精准识别和综合分析。另一方面，大模型多维度展现出卓越的认知能力，逐步接近人类水平。 1.大模型具备多模态感知能力 强大的表征和泛化能力赋予大模型出色的单任务识别分类和多模态融合处理能力。单任务识别分类能力上，大模型具有强大的特征抽取能力，能根据不同类别之间的特征表示准确识别出不同的对象，从而具备更加精准的感知能力，能够在人脸识别、语音识别、图像分类、文本分类等任务上取得更好的效果。多模态融合能力上，大模型凭借强大的表征和泛化能力可以同时处理大量文本、图像、视频、音频等不同模态的信息，通过统一的表示空间实现跨模态的信息交互和知识融合，更加符合人类感知和处理信息的方式。例如，自回归多模态大模型Unified-IO25通过将不同模态信息映射到一个共享语义空间，能够在自然语言、图像、音频、视频和具身智能等多种任务中接近或优于单任务模型的性能，展现了多模态大模型的研究前景。 2.大模型认知能力显著提升 大模型具备较好的理解生成能力，能够深入建模数据间的逻辑关系，依托自主学习机制实现精准的推理决策。理解和生成能力上，大模型结合跨领域知识图谱、上下文学习、持续学习等技术获得理解复杂问题的能力，通过序列到序列模型、扩散模型等技术提升生成创造能力，从而完成对话生成、代码生成、文案创作、视频理解等任务。例如，在智能问答的真实性评价方面，GPT-4在TruthfulQA测试集上 的准确率近60%6，逐步接近人类的表现。推理和决策能力上，大模型智能涌现的重要表现之一是强大的逻辑推理能力，可以通过思维链、提示学习、强化学习等技术挖掘数据之间的关联以实现推理和决策，在逻辑推理、常识推理、决策规划等关键任务上表现突出。针对数学单词问题（MathWordProblem）任务，相较于传统提示学习在数据集GSM8K上25%的数学推理准确率，基于思维链的大模型PaLM能达到近60%7。自主学习和适应能力上，大模型通过迁移学习和自适应学习可实现根据环境和任务的变化自动调整自身参数和结构，并通过持续学习不断接收和处理新的数据，从而加强对外部环境的自主反馈和适应的能力。 图2大模型的多维感知能力和认知能力 来源：公开资料整理 大模型的识别、分类、理解、推理、决策、生成等能力显著提升，将加速计算智能、感知智能走向认知智能。大模型强大的认知能力能 6https://arxiv.org/pdf/2303.08774 够处理更加复杂的任务，满足定制化的场景需求，提供更加精准的推理、交互、决策等个性化服务，为模型的深入应用提供重要保障。 （二）大模型场景落地百花齐放，擘画智能应用生态蓝 图 随着大模型效能不断外溢，感知能力和认知能力显著增强，为上层智能应用和服务夯实了坚实基础，应用路径和商业模式开始清晰，各行业开始积极拥抱新技术，希望借助大模型突破自身发展瓶颈。近年来，大模型已在金融、工业、教育、医疗、政务等行业得到应用，并赋能研发设计、生产制造、经营管理、营销服务等多种应用场景。 1.面向行业加速数字化转型步伐 由大模型引发的新一轮行业变革正向纵深推进，将开启千行百业数字化转型“黄金时代”。目前，各行业已经开始积极评估自身能力现状及应用大模型的可行性，希望借助大模型突破发展瓶颈，达到降本、增效和提质的目的。在金融领域，大模型能够分析海量的金融客户数据，在风险控制、欺诈检测和智能投研等场景下探索应用，帮助金融机构实现高效率、低成本、规模化的人工智能创新应用。例如，中国工商银行将大模型应用于智能客服领域，将平均通话时长缩短10%，座席服务效率提升18%，实现座席工作效率的全面升级。在工业领域，大模型的技术能力特点深度契合新型工业化特征，可基于感知预测和决策规划等能力在设计制造、产能优化、知识管理、生产运营、节能环保等场景上全面助力工业领域降本增效。在政务领域，多地政府积极在政府服务过程中引入大模型技术，以提升政务咨询、业 务办理、城市治理、辅助决策等方面的精度和温度，从而有效提升市民体验、政务办公和城市治理效率。 来源：公开资料整理 图3大模型行业应用图谱 2.面向场景激发应用创新活力 大模型的技术革新进一步满足了业务场景对智能技术的需求，有望带来更加智能化的用户体验，提升服务效率和质量。在研发设计场景，大模型能够利用研发数据和历史案例解析研发需求，自动生成设计方案、产品原型、开发代码等，进而加速研发设计过程。在生产制造场景，大模型通过分析生产过程中的相