行业大模型标准体系及能力架构研究报告

腾讯标准 TencentStandard 行业大模型标准体系及能力架构研究报告 腾讯云计算(北京)有限责任公司 中国信息通信研究院云计算与大数据研究所 推荐序 “企业基于行业大模型构建自己的专属模型，可以让企业的自身数据发挥出高效用，训练和推理的成本更低，模型优化也更容易，更高效地提供精准服务。希望我们此次的研究报告，可以为行业的大模型的发展带来更多的帮助，为行业大模型的技术和应用提供更有力的支撑，满足企业和市场的需求。” ——腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生 “随着人工智能技术的快速发展，行业大模型已成为推动产业升级的重要驱动力。为了规范和引领行业大模型的健康、可持续发展，有必要构建行业大模型的标准体系，以科学评价大模型技术能力和应用效果。愿本次研究成果，助力大模型产业发展和生态建设。” ——中国信息通信研究院云计算与大数据研究所所长何宝宏 “我们希望行业大模型标准体系及能力架构研究报告，能够帮助行业伙伴解决如何将大模型能力“应用”到自身的行业和场景里的问题，可以更有效的解决成本、数据、安全，合规等大模型实际落地难题。通过建立标准体系，为行业大模型的建设和应用提供指引和支持。” ——腾讯法务副总裁江波 版权声明 本报告版权属于腾讯云计算（北京）有限责任公司和中国信息通信研究院云计算与大数据研究所，并受法律保护。转载、摘抄或利用其他方式使用本报告文字或观点的，应注明“来源：腾讯云计算（北京）有限责任公司和中国信息通信研究院云计算与大数据研究所”。违反上述声明者，公司和研究院保留追究其法律责任的权利。 编委会 顾问： 吴运声、魏凯、王麒、吴永坚、徐炎、江波、杨鹏、徐翊鸣、胡利明、闫鹏、徐樱丹、张军、方腾飞、刘立萍、林涛 主编： 孙星、曹峰、黄晶莹、李荪、侯方、韩旭、李牧青、王颖、赵丹萍、黄小明、梁小龙、王川南、舒文琦、曾亮、曹骏、戴大海、高嵩、尹迪、赵登梧、胡哲、李珂、马雁翔、汪凯峰、叶国宇、周为洲、韩利明、严敏、胡纯、王子一、李超、何茂亮、宋宜徽、孙晖、梅述家、代威、徐永太、黄超、刘海涛、李建慧、蒋增增、王永霞、武杨、郑剑锋、倪平、李克鹏、刘震宇 策划： 周威、王成、程力鑫、周军军、赵紫良、方海璇 前言 当前，随着人工智能技术的不断发展，深度学习模型的规模逐渐增大，性能显著提升，各行各业迎来了新的发展机遇。通用大模型作为通用技术基座，在多个任务和领域上均表现出较好的性能，但由于缺乏专业知识与行业数据，并不能精准解决某个行业或企业的特定需求和问题，而且通用大模型的构建和训练成本通常很高，难以实现商用。为更好解决特定行业问题，行业大模型应运而生。行业大模型可满足特定场景需求，更好地为行业提供优质的服务，促进行业智能化转型升级。 为促进行业大模型的健康快速发展，我们充分研究了构建行业大模型所需能力及构建方式，提出了行业大模型构建路线图及相应的标准体系，用以指导企业建设大模型能力。行业大模型构建路线图围绕行业需求分析与资源评估、行业数据与大模型共建、行业大模型微调与优化三方面展开，以更专业、成本更低的方式，引导行业和企业建立特有的大模型服务。大模型标准体系围绕大模型基础能力和特定行业特定场景服务能力展开对大模型能力进行全方位评估，保证大模型快速高质量发展。 CONTENTS录 目 01 行业大模型开启产业升级的“黄金时代” 一、大模型技术应用不断演进，迎来发展新机遇/02 二、MaaS支持大模型应用落地全流程能力构建/04 三、场景化需求快速推动大模型价值释放/07 四、行业大模型应用落地亟需建设路线指引/09 02 行业大模型构建路线图，指导企业建设大模型能力 一、行业需求分析与资源评估/12 二、行业数据与大模型共建/17 三、行业大模型精调与优化部署/20 03 大模型标准体系先行，全面建立能力指标体系 一、聚焦工程化应用，五大维度评估行业大模型基础能力/25 二、围绕特定行业和场景需求，评估行业大模型服务能力/30 04 行业大模型应用“百花齐放”，价值不断释放 一、文旅典型案例/36 二、金融典型案例/39 三、传媒典型案例/41 05 行业大模型“千行百业”落地，驱动AI原生应用发展 第一章 行业大模型开启产业升级的“黄金时代” 目前，国内外公司纷纷发布大模型，涉及通用大模型、行业大模型、垂直大模型与专属大模型，一些超强模型服务背后是千亿或万亿参数的基础模型。大模型的诞生标志着人工智能领域的一大步，能够在各种任务中达到更高的准确性、降低应用的开发门槛、增强模型泛化能力等，催生出新的场景和产业模式，快速推动产业智能化应用落地。 一、大模型技术应用不断演进，迎来发展新机遇 随着ChatGPT（ChatGenerativePre-trainedTransformer，对话生成式预训练变换模型）的问世，大模型进入快速发展的时代，一些超强模型服务背后是千亿或万亿参数的基础模型，通过学习丰富的知识，成为与人类交互及连接万物的工具。 通用大模型的发展 2016年OpenAI发布Gym强化学习平台。从2018年GPT-1问世以来，模型参数从GPT-1的1.17亿，经过不断迭代，增长到GPT-4的1.76万亿的参数规模，通用大模型的性能，也得到了显著的提升。斯坦福大学的研究发现，GPT-3已经可以解决70%的心智理论任务，相当于7岁儿童；至于GPT3.5，更是解决了93%的任务，心智相当于9岁儿童！2022年11月，ChatGPT正式发布，是基于GPT-3.5架构并通过强化学习训练后的大语言模型，目前仍以文字方式互动，支持包括自动文本生成、自动问答、自动摘要等多种任务。 Google从2017年6月，发布Transformer架构以来，陆续发布了BERT、T5等预训练模型，参数规模也在逐步提升。当前大部分大模型均利用Transformer架构搭建。近期，Google发布的通才模型PaLM-E，包含5620亿参数，可用于控制机器人，为通用人工智能（AGI）的实现提供了可能。 GooglePaLM-E大模型控制机器人 Meta于2023年2月开源大模型LLaMA，已经对大模型的产业链上下游产生极其重要的影响，带动了Alpaca、Vicuna、FreeWilly2、BELLE、Chinese-LLaMA、Yuan-Chat、MiniGPT-4等几十个开源大模型，形成了“羊驼”开源大模型生态圈。7月开源大模型LLaMA2发布，一定程度上降低了商业化部署的成本。 LLaMA大模型生态圈 TI-DataTruth数据标注平台 TI-ONE训练平台 TI-Matrix应用平台 太极Angel加速组件 二、MaaS支持大模型应用落地全流程能力构建 MaaS（Model-as-a-service，模型即服务）提供了一整套大模型服务工具链和开放平台，行业用户基于行业基础大模型，利用整体的模型套件经过精调再训练，生成满足特定场景需求的专属大模型。与提供基础设施的IaaS（基础设施即服务）、提供工具的平台即服务（PaaS）和提供软件的SaaS （软件即服务）相比，MaaS（模型即服务）以模型作为交付目标。 基于MaaS构建的一站式行业大模型构建和应用解决方案，围绕模型的生命周期提供各种的产品和技术，辅助行业用户从数据预处理、模型构建、模型训练、模型评估到模型服务实现全流程能力构建。解决了企业构建行业大模型成本高、时间长、难度大的问题，降低数字化转型的成本和风险，支撑客户快速实现大模型应用的产品化和商业化，更快地实现数字化转型和升级。 MaaS 细分领域TI-OCR媒体AI中台数智人训练平台 模型训练应用平台智能应用客户专属行业大模型 精调 平台TI-AOI智能视频AI语音助手大模型解决方案训练平台分析平台(车载/家居) TI平台 平台&工具 金融大模型 政务大模型 文旅大模型 传媒大模型 教育大模型 …… 技术底座 基础设施 向量数据库 高性能网络:自研星脉计算网络架构 高性能计算集群HCC 行业大模型 MaaS解决方案 行业用户利用MaaS构建专属的行业模型，可以根据自有数据进行精调，通过训练加速、推理加速完成模型的构建。构建专属行业模型，将预处理完成的数据，载入机器学习平台，选取特定算法并调试，载入特定模型完成训练任务，最后，通过压缩裁剪的方式优化调整模型，并完成模型的注册及验证测试工作，通过测试验证的模型将正式发布和部署。 MaaS通常内置了行业大模型和工具箱，配套标准化流程和落地服务，支持行业用户进行行业大模型的精调，生成符合需求的定制化模型，并在此基础上进行部署，构建行业用户的智能应用，具体来说包括以下两个方面。 第一，MaaS可以通过基础行业大模型、定制场景大模型、模型推理服务API等不同的方式，为企业用户提供灵活和定制化服务。企业用户可以利用企业特有数据对大模型进行自主训练，完成模型的精调工作。企业用户可以根据特定业务场景，通过对话、问答、问答挖掘、相似问句生成等任务，再次进行微调，仅需少量自训练数据量就可以得到企业专属的大模型。自主训练措施包括通过关键词提示、上下文提示、类别提示、语义提示等问答提示工程方式，完成对特定任务的无监督训练。 第二，MaaS可以提供公有云的部署流程、私有化的部署流程，以及混合化部署多样化部署方式。公有云部署，在训练阶段用户先将数据上传到云存储并做好训练代码和环境的准备，完成训练任务后存储模型并进行模型评测。用户行业用户可以在公有云直接购买并使用公有云的机器资源，经过精调和二次训练，生成行业用户的专属大模型，并应用于业务系统，这样可以降低行业用户的训练成本。私有化部署，技术服务提供商可提供基础行业模型并部署在用户本地，用户在本地进行数据训练和模型精调，并调用本地算力和存储资源，完成模型二次训练，满足用户对于敏感数据的隐私保护。混合部署，可以将公有云方式与本地化部署方式相结合，精调训练数据的过程可以在本地进行，通过部署私有化的软件与服务完成模型的精调任务，满足用户部署多样灵活的需求。 公有云脱敏后的训练数据 客户专属大模型 提供脱敏数据，进行模型精调 客户专属大模型 客户业务系统 公有云 算力/存储资源 直接公有云上购买好对应的机器资源 通过二次训练生成具有客户专属模型 行业大模型 提供行业预训练大模型，降低训练成本 模型训练工具 提供模型训练工具，快速上手训练 公有化方式部署 训练数据 本地 客户专属大模型 伙伴提供训练数据，进行模型微调 客户专属大模型 客户业务系统 本地 算力/存储资源 伙伴提供部署大模型平台和训练模型需要的机器资源 通过二次训练生成具有客户专属模型 行业大模型 提供行业预训练大模型，降低训练成本 模型训练工具 提供模型训练工具，快速上手训练 训练数据 本地 客户专属大模型 伙伴提供训练数据，进行模型微调 客户专属大模型 客户业务系统 公有云 算力/存储资源 直接公有云上购买好对应的机器资源 通过二次训练生成具有客户专属模型 行业大模型 提供行业预训练大模型，降低训练成本 模型训练工具 提供模型训练工具，快速上手训练 私有化方式部署 混合方式部署 三、场景化需求快速推动大模型价值释放 大模型受益于技术能力的提升和多样化的场景需求，如今其自身正是人工智能领域最大的动力之源，推动人工智能从技术积累、行业应用、产业变革到赋能千行百业的基础设施。 大模型在场景中的应用 智能问答，应用于金融、文旅、政务等各个行业，根据不同行业的特征数据，生成对应场景的特定应用，产品类型包括语音助手、企业客服、呼叫中心、专家咨询、智能助教、智能导诊、销售助手、培训辅导等。 内容创作，行业客户可以依据产品特点，利用大模型生成特色文案，助力产品的推广；大模型应用于模板创作、剧本创作、编曲填词，为原创作者增加创意元素，协助作者更好的创作；大模型辅助新闻从业者生成访谈提纲、新闻摘要等；大模型辅助研究人员和教育工作者生成论文摘要、课程设计等，更快速的掌握知识或进行课程的编排。