大模型行业可信应用框架研究报告

ANTGROUP 蚂蚁集团CAICT中国信息通信研究院 大模型 行业可信应用框架 研究报告 ResearchReportonIndustryTrustworthyApplicationFramework ofFoundationModels 蚂蚁科技集团股份有限公司中国信息通信研究院 2024年9月 序一 当前，新一代人工智能技术变革方兴未艾，大模型技术作为其代表，正在成为推动产业智能化升级和经济高质量发展的重要引擎。国家高度重视人工智能发展，已经出台一系列政策措施，为人工智能与实体经济深度融合指明了方向。然而，正如人类历史上的每一次科技革命，新技术的应用在带来巨大发展机遇的同时，也伴随着潜在的风险与挑战。如何确保人工智能技术安全、可靠、可控地发展和应用， 构建人类信任的人工智能，已成为全球共同关注的时代命题。 这份研究报告聚焦大模型可信应用这一前沿课题，深入探讨了大模型在金融、医疗、政务等专业领 域应用所面临的挑战，并提出了系统化的解决方案。报告立足于技术架构和体系建设，从数据质量提升、模型能力增强、推理过程可控、系统安全保障、评测体系健全等多个维度，构建了面向专业领域的 大模型可信应用框架，为推动大模型在产业中的规模化落地应用提供了有益参考。 这份报告的发布恰逢其时，我相信它将对推动人工智能技术与产业的深度融合，促进大模型技术的可信落地应用产生积极的影响。期待未来有更多科研机构、企业和个人参与到这一领域的研究和实践中，共同努力构建出安全、可靠、可控的大模型应用生态，为新时代的智能化产业升级和经济高质量发展贡献更多智慧和力量。 蒋昌俊 同济大学讲席教授、中国工程院院士 序二 以大模型为代表的新一轮人工智能发展浪潮席卷全球，已成为各个行业全面迈向智能化的新引擎。当前，在缩放定律驱动下，模型能力还在持续提升，基础大模型的语言、视觉和多模态能力加速选代。与此同时，支撑大模型应用的工程架构也在不断完善，智能体、检索增强生成、模型即服务等新技术新模式的 出现，拉近了大模型与用户的距离。 然而，我们应该认识到，蛋然大模型在智能客服、知识管理、软件开发等场景中的落地应用越来越 多，但要在复杂度高、容错率低的场景中实现规模化应用，仍然面临不少挑战。比如，大模型嵌入知识的学习和更新成本较高，专业性可能存在不足且难以及时更新；大模型的推理过程如同黑盒，难以解释，这使得其难以直接应用于复杂的推理任务；大模型存在“觉”现象，可能导致生成的结果缺之事实依据或 数据支撑。因此，如何确保大模型应用的专业性、可控性、真实性和安全性，是跨越大模型落地最后一公 里的关键一环。 这份报告结合了中国信通院研究和相关企业的实践经验，系统梳理了大模型可信应用面临的问题和实践路径。在概念上，报告分析了金融、医疗、政务等多个领域的大模型的应用实践经验，提出了“面向专业领域的大模型可信应用框架”。在实践上，报告将“专业、可控、真实、安全”等四个要素作为大 模型可信应用的核心目标，并针对数据质量提升、模型知识增强、内容生成可控等七个维度提出落地实 施建议，力求形成一套推动大模型可信应用的方法论。 我相信，这份报告一定能对各个行业深入探索大模型应用带来新的后启发。我也期待产学研各万进一步 紧密携手，不断丰富大模型可信应用实践，充分释放人工智能的无限潜能。 余晓晖 中国信息通信研究院院长 序三 人工智能大模型技术如同一颗"小火花”，正在点燃新世界的无限可能，为"新质生产力“的发展注入强 劲动力。作为以科技创新为根本驱动力的科技企业，蚂蚁集团也在持续投入资源，积极探索大模型在专业、严谨领域的可信应用。我们的目标是让AI像扫码支付一样便利每个人的生活，同时确保其在专业领域的应用安全可靠。为此，我们推出了智能生活管家、金融管家和健康管家三大应用，旨在将大模型技术落地到实际场景中。 然而，我们也清醒地认识到，大模型在行业中规模化可信应用仍面临诸多困难与挑战。要让大模型在行业应用中不断提升其专业性，达到专业人士的水准，需要不断提高数据质量，特别是专业数据的质量、增强模型的专业能力、确保生成内容的可信、提升推理决策过程的可控可解释以及构建完善的专业领域深 度评测体系，都是我们需要深入研究的课题。 本报告提出了面向专业领域的大模型可信应用框架，旨在为解决这些问题提供一些思路和方案。我们相信，只有通过产业上下游的通力协作，才能真正推动大模型在产业中的规模化可信应用，助力产业智能化升级。 让我们携手共进，以开放、创新的态度，共同探索人工智能大模型的无限可能，为构建智能化、数字 化的美好未来贡献我们的力量。 何征宇 蚂蚁集团副总裁&首席技术官 前言 以大模型为代表的新一代人工智能技术变革仍在加速选代，为“新质生产力”的发展注入强劲动力， 助力产业智能化升级和经济发展。大模型在产业端已经开始在任务简单、容错率高的场景得到广泛地使用，例如智能客服、文案生成等场景，但是在医疗疾病诊断、金融投资理财等任务复杂度高、容错率低的场景，大模型的规模化落地仍然遇到不少阻碍。为进一步释放以大模型为核心的人工智能新技术范式生产 力，需要解决大模型的“可信应用”问题，支撑大模型在金融、医疗、政务等专业领域的深化应用。为此 本报告提出了面向专业领域的大模型可信应用框架，即大模型为核心的智能系统在面向金融、医疗、政务等专业领域的应用中，为确保应用的专业性、可控性、真实性和安全性，应当如何构建系统的技术架构和体系。 从技术实现来看，企业建设一体化的大模型可信应用框架目标是在大模型开发和应用的不同环节，施加相应的技术保障手段，以提升落地应用的可信程度。目前主要手段包括提升数据供给质量、增强模型在应用领域的专业能力、提高模型生成内容的可控可信、提升智能体推理的可信、使用围栏工具和安全保障措施、建立全面充分的评测体系、构建“反馈-选代”的良性循环体系等手段，综合实现大模型在专业领域中的稳妥应用和持续深化拓展。从产业应用实践来看，自前在金融、医疗、政务等行业中已有大模型应用框架的落地实践，提升了推理结果的准确专业真实性，并增强了推理过程的透明安全可控，提高了客户对于大模型应用的信赖程度。 展望未来，本报告中提出的大模型应用框架是推动大模型在产业中规模化落地应用释放价值的初步探索，未来的产业化突破还需要从前沿技术创新探索、可信应用框架落地实施、行业治理体系搭建、产业生 态合作完善等多个维度统筹推进。我们期待产业上下游各方通力协作，共同推动大模型在产业中的规模化 可信应用落地，助力产业智能化升级。 目录 、大模型可信应用背景和需求 （一）大模型加速落地激发应用可信需求 02 （二）人工智能可信内涵及外延不断丰富 03 （三）专业领域大模型应用关注四大要素 105 （四）大模型可信应用技术框架及体系 06 、面向专业领域的大模型可信应用挑战 （一）模型技术能力不足，可信应用驱需高标准严要求09 （二）保障体系构建不全，产业界体系化方案仍然缺乏11 三、面向专业领域的大模型可信应用框架 （一）可信应用框架总体视图13 （二）大模型在专业领域可信应用的技术实现14 四、大模型可信应用框架助力千行百业智能化转型 （一）大模型助力金融场景智能化转型32 （二）大模型助力医疗场景智能化转型36 （三）大模型助力政务场景智能化转型39 五、未来展望 未来展望46 图目录 图1大模型落地场景发展路径02 图2可信人工智能的内涵丰富04 图3大模型可信应用框架的内涵06 图4示例-大模型在数值运算时可能出现错误09 图5示例-大模型的输出可能出现“幻觉”10 图6面向专业领域的大模型可信应用框架13 图7数据质量提升处理流程16 图8大模型专业增强处理17 图9结合外部专业知识和工具实现内容生成可信20 图10基于智能体实现复杂任务处理可信23 图11大模型应用原生安全范式OVTP和NbSP26 图12大模型可信应用的“反馈-选代”机制28 图13大模型可信应用评测验证体系示意图29 图14智能投顾助理场景中的应用33 图15示例-智能投顾助理在政策解读的应用35 图16智能就医助理场景中的应用36 图17示例-就医助理在健康问答的应用38 图18城市治理场景中的应用40 图19多模态多源信息的理解和融合示意41 图20跨领域业务协同处置建模示意42 图21示例-数字社工系统使用界面44 大模型行业可信应用框架研究报告 01 大模型可信应用 背景和需求 O第一章1大模型可信应用背景和需求 本章梳理了当前大模型在垂直行业的落地场景路径，通过分析当前产业界人工智能可信的内涵和定 义，进一步细化了面向专业领域的大模型落地可信核心要求，并提出了大模型可信应用框架的内涵。 大模型行业可信应用框架研究报告 O第一章1大模型可信应用背景和需求 （一）大模型加速落地激发应用可信需求 大模型落地应用已进入产业变现阶段，助力全球产业升级和经济发展。一方面，以大模型为代表的新一代人工智能技术变革仍在加速，为各产业带来了全面智能升级的可能性。无论是制造业、金融业、医疗行业还是教育行业，都可以通过集成大模型实现产品和服务功能的重构与提升，提高操作效率，优化用户体验，以适应更高层次的用户需求和市场期待。另一方面，大模型的通用性、泛化性进一步赋能传统机器学习模型无法支持的场景。受限于数据和实施成本等因素，传统机器学习模型通常只能面向特定场景和任务进行定制开发，而大模型具备更强的泛化能力和学习能力，能够基于较少的数据和较低的开发成本赋能海量长尾应用场景。IDC预测?，全球生成式人工智能市场年复合增长率或达85.7%，预计2027年45%的 企业将掌握并使用生成式人工智能共同开发数字产品和服务，全球生成式人工智能市场规模将接近1500 亿美元。 容错率低本 任务简单 合何审垂 智能套服 整备服务 法势赛件 合规/反洗钱风险管璃 智能投颖 花馨疆 任务复杂 对语武产品 药物研发智能助理 智能营销个性花推操金融 智装公管能摄素医疗游戏电商 政务 法律 容错率高其他 图1大模型落地场景发展路径 来源：公开资料整理 https://www.idc.com/getdoc.jsp?containerld=prCHc51997124 02 大模型行业可信应用框架研究报告 第一章大模型可信应用背景和需求 当前，大模型规模化落地应用主要集中容错率高、任务简单场景。例如，在电商领域，基于大模型的智能客服能够通过生成商品描述和智能搜索功能，快速响应用户查询，提供个性化推荐；在游戏行业，大 备通用可复制性，通过大模型赋能实现自动化和流程化处理，显著提升效率、降低应用成本。另一方面，此类场景对模型输出的准确性要求相对低，即使偶尔出现偏差，也不会对用户造成显著影响，进而助力大模型能够在这类场景实现快速部署和送代优化。 大模型落地应用将持续向复杂容错率高的场景渗透。例如，在医疗领域，大模型可被用于辅助进行更为复杂的影像分析、临床决策，以及在药物研发中进行分子结构的预测和筛选。在金融领域，大模型的应用可扩展到智能投顾、风险管理和预测。在法律领域，大模型可被用于复杂的案件分析和判决结论生成等。这些场景一方面涉及高度专业化的知识和复杂决策过程，要求对专业领域的知识和流程深入理解，大 模型需要结合高质量领域数据集、外挂专家知识库及复杂的调优过程才能具备此类能力；另一方面对输出结果的准确性和可靠性有看极高要求，任何错误都可能带来较大影响和损失，对大模型的输出结果和推理 决策能力提出挑战。 进一步推动大模型规模化落地需要解决大模型“可信应用”问题。从应用现状可以看出，大模型在更 泛场景深入应用的关键核心在于提升大模型应用的可信程度，即大模型是否能够在应用场景中真实、准 确且安全地提供服务，行业函需一套有参考性的系统化可信应用框架，以推进大模型规模化可信应用。 （二）人工智能可信内涵及外延不断丰富 在人工智能的发展过程中源于对人工智能系统安全性、透明度、公平性等方面的关注，可信 （Trustworthiness）已成为各国政府、国