2023年中国AI开发平台市场报告

2022年中国AI开发平台市场报告 AI开发平台/AI模型/自动化机器学习/低代码AI开发 2022年11月 弗若斯特沙利文咨询（中国）头豹研究院 报告说明 ———— 沙利文联合头豹发布《2022年中国AI开发平台市场报告》，该市场报告 以中国AI开发平台市场为核心研究对象，研究周期为2022年（数据截至2022年11月25日）。本报告旨在分析中国AI开发平台的概念定义、应用前景、技术动向及发展趋势，并识别AI开发平台市场竞争态势，反映该细分市场领袖梯队品牌的差异化竞争优势。 ———— 沙利文联合头豹研究院对AI开发平台市场进行了下游用户体验调查。受 访者来自互联网、政务、金融等多个领域，所在组织规模不一，细分领域有别。 本市场报告提供的AI开发平台趋势分析亦反映�行业整体的动向。报告最终对领袖梯队的判断仅适用于本年度中国发展周期。 本报告所有图、表、文字中的数据均源自弗若斯特沙利文咨询（中国）及头豹研究院调查，数据均采用四舍五入，小数计一位。 ———— 报告提供的任何内容（包括但不限于数据、文字、图表、图像等）均系弗若斯特沙利文及头豹研究院独有的高度机密性文件（在报告中另行标明�处者除外）。未经弗若斯特沙利文及头豹研究院事先书面许可，任何人不得以任何方式擅自复制、再造、传播、�版、引用、改编、汇编本报告内容，若有违反上述约定的行为发生，弗若斯特沙利文及头豹研究院保留采取法律措施、追究相关人员责任的权利。弗若斯特沙利文及头豹研究院开展的所有商业活动均使用“弗若斯特沙利文”、“沙利文”、“头豹研究院”或“头豹”的商号、商标，弗若斯特沙利文及头豹研究院无任何前述名称之外的其他分支机构，也未授权或聘用其他任何第三方代表弗若斯特沙利文或头豹研究院开展商业活动。 沙利文市场研读 研究框架 AI开发平台架构 ---------------------------- 05 AI开发平台商业模式 ---------------------------- 17 AI开发平台市场规模 ---------------------------- 19 AI开发平台竞争要素 ---------------------------- 21 AI开发平台综合表现 ---------------------------- 26 AI开发平台评分维度 ---------------------------- 28 AI开发平台领袖梯队案例介绍 •亚马逊云科技 ---------------------------- 31 •百度智能云 ---------------------------- 33 名词解释 ---------------------------- 36 方法论 ---------------------------- 37 法律声明 ---------------------------- 38 www.leadleo.com3 400-072-5588 章节一AI平台架构 沙利文在本章从基础设施、框架工具以及训练平台三大维度着手，围绕AI开发平台的架构开展分析。 沙利文市场研读中国AI开发平台 1.1AI基础设施 人工智能开发平台是一个整合了AI算法、算力和开发工具的平台，为机器学习、深度学习、训练模型等开放了开发架构。它还提供开发所需的算力支持，使开发者能够有效地利用平台中的人工智能能力，通过接口调用进行人工智能产品开发或AI赋能。 人工智能开放平台为开发者提供了许多开发工具和框架，有助于降低开发成本，如人工智能数据集、AI模型和算力成本。开发者可以使用该平台的数据集来训练他们自己的模型，或者使用该平台的算法框架来进行功能定制。 人工智能开发平台的架构从下到上可以分为基础设施、框架、训练平台和技术服务四层。 1.基础设施。自主研发的人工智能芯片是企业的核心竞争力，其可以呈现�人工智能架构创新、形态演变、软硬件融合三大趋势。 1.1底层硬件 主流的人工智能处理器本质上是一个片上系统 （SoC），可用于图像、视频、语音和文字处理等相关场景。人工智能处理器的主要架构组件包括一个专门设计的计算单元、一个大容量的存储单元和一个相应的控制单元。通过自主研发的人工智能芯片，企业可以根据自己的算法要求调整芯片线，从而最大限度地提高计算效率，自研的人工智能芯片将逐渐成为AI开发平台厂商的核心竞争力之一。 1.1.1AI芯片架构创新 云端AI芯片主要用于AI训练场景，计算能力是其核心指标之一。为了适应AI训练中需要用到的应用和算法，供应商需要开发特定领域架构（DSA）芯片来进行架构创新，从而实现性能优化。计算单元作为DSA芯片的计算、存储以及控制三大部件之一，可以进行标量、矢量和矩阵运算。华为对达芬奇架构中的矩阵运算进行了深度优化，并定制了相应的矩阵计算单元，以支持高吞吐量的处理，这样就可以用一条指令完成两个16*16矩阵的乘法运算。 为了解决现有内存访问速度严重滞后于处理器计算速度的问题，新型完全可编程、可重构架构 （CGRA）芯片、内存计算芯片以及具有高内存带宽的新型处理器架构IPU可能会引入AI芯片底层生态。 此外，芯片编程方法和软件架构设计也将成为AI芯片创新的重要组成部分。例如，英伟达凭借其CUDA框架大大降低了GPU的编程难度，使得GPU在AI加速领域得到了广泛的应用。未来，更多的人工智能处理器将提供多层软件栈和开发工具链，帮助开发者更有效地利用底层硬件资源，不断提高开发效率，并通过多种软件提高专用芯片的灵活性。 www.leadleo.com400-072-5588 AI开发平台架构 AI 基于语音识别、图像识别、文字识别、自然语言 技术 处理的服务；AI生态的构建 服务 AI 训练平台 机器学习平台 AI 框架以TensorFlow和PyTorch为代表的机器学习框架工具 AI 包括基础硬件（CPU、GPU、FPGA、NPU、ASIC 基础 以及其组合成的SoC）；计算引擎、云容器 设施 1.1.2AI芯片形态演进 人工智能芯片创新的目标之一是保持芯片的高能效比，同时适应人工智能算法的发展。未来，通用加专用芯片的片上系统形式将成为主流 （CPU+NPU、CPU+ASIC等），应用范围更广。 传统的处理器指令集（包括x86和ARM等）是为通用计算而演变的，其基本操作是算术操作（加减乘除）和逻辑操作（有无），在深度学习中完成一个神经元的处理往往需要上百条指令，深度学习的处理效率并不高。为了解决这个次痛点，芯片形式需要打破传统的冯-诺依曼结构。神经网络处理器NPU使用电路来模拟人类的神经元和突触结构。在NPU中，存储和处理被集成在神经网络中，由突触权重反映。例如，寒武纪提�的全球首个深度学习处理器指令集DianNaoYu可以直接面对大规模神经元和突触的处理，通过一条指令就可以完成一组神经元的处理，并为神经元和突触数据在芯片上的传输提供一系列专门支持。在AI训练加速应用方面，寒武纪还推�了最新的MLU370-X8训练加速卡，搭载双芯片四核粒子思源370，在YOLOv3、Transformer、BERT和ResNet101任务中，8张卡并行的平均性能达到350WRTXGPU的155%。 来源：弗若斯特沙利文，头豹研究院 5 沙利文市场研读 1.1.3AI芯片软硬一体化 中国AI开发平台 围绕AI芯片的软件工具开始从基础计算向场景计算转变。过去，以NVIDIA为代表的芯片企业不断构建以CUDA编程模型为核心，由例如高性能算子库、通信算法、推理加速引擎等多层次基础软件工具组成的生态。 在这个阶段，人工智能芯片企业开始构建差异化场景的软硬件一体化平台。商业模式从提供硬件支持服务扩展到提供技术生产工具和技术服务。实现了底层芯片、编程框架、行业算法库、细分场景研发平台的全栈式高效整合，从而培育�多元化行业场景的计算生态圈，并抢占细分市场。 同时，企业也可根据客户需求提供模块化服务，进一步提升服务的客制化程度。 1.1.4AI芯片向移动端拓展 1.目前传统的AI芯片为了满足计算性能不断扩张的要求，在采用新结构、新工艺的同时，也使得芯片的基础功耗节节攀升。过高的芯片功耗对于芯片使用者和使用场景的供电能力、散热能力等都带来了较高的挑战。为了满足大规模AI芯片在传统电力资源和散热资源上的需求，芯片使用者们不得不增加相关硬件的基础投入，这极大地增加了AI芯片的使用成本，同时也在无形之中抬高了整个AI行业的入门门槛。AI芯片高功耗的情况对于目前主流的固定端应用相对来看挑战较低，使用者们可以通过简单的增加配套硬件设备数量来解决能源功耗问题；但对于移动端来说，AI芯片的功耗是一个不易解决的问题。手机、笔记本电脑、可穿戴设备、汽车自动驾驶等移动端应用受限于产品可用空间的大小、电池等储能设备能力的限制等客观因素，无法上马超高功耗的高性能AI芯片。因此，针对移动端的AI芯片设计将是未来芯片研发的一个主流方向。 2.在移动端AI芯片上，以三星电子和SKHynix为代表的韩国厂商走在前列。其中三星电子在2022年ISSCC大会上发表的关于移动端NPU芯片的研究成果显示其最新移动端NPU在优化芯片数据流提升计算单元利用率、优化计算单元以覆盖不同的计算精度、提供不同的工作模式以满足不同功耗和性能的需求上均实现了较大突破。在计算精度方面，三星电子的移动端NPU可以满足INT4、INT8和FP16精度要求，基本覆盖移动端人工智能算法所有需求；而其在模式切换上的突破也极大的解决了手机芯片在日常使用中的痛点。目前三星电子移动端NPU已经在其4nmExynosSoC中得到了应用。 AI开发平台企业全栈整合 AI 训练平台 AI 技术服务 亚马逊云科技微软Azure百度智能云英伟达华为云 AI 底层硬件 AI 框架工具 www.leadleo.com400-072-5588 来源：弗若斯特沙利文，头豹研究院 6 沙利文市场研读中国AI开发平台 1.1.5云端原生启用AI基础设施 云原生技术使企业能够在新的动态环境（如公共云、私有云和混合云）中构建和运行弹性和可扩展的应用程序。具有代表性的云原生技术包括容器、服务网格、微服务、不可变的基础设施和声明式的API，这些技术能够构建松散耦合的系统，具有容错性，易于管理，易于观察。与可靠的自动化手段相结合，云原生技术使工程师可以很容易地对系统进行频繁和可预测的重大改变。 1.在基础设施层面，容器在云基础设施和应用之间解耦应用和技术架构资源。 2.在应用层面，用户可以根据不同场景选择微服务或无服务器架构。 3.在复杂的架构场景中，服务组件的通信是通过服务网格控制的。 4.最后，通过DevOps对系统进行持续迭代和更新。 基础设施的完善 云原生容器架基于云原生的深度学习训练平台可以完全容器化部署，基于Kubernetes（K8s），为不同任务提供弹性灵活的资源扩展、资源调度和分配，并向后兼容多种CPU和GPU处理器。因此，基于云原生的人工智能开发平台可以快速适应适当的云原生资源，既可以进行大规模稀疏数据的训练，又可以进行基于感知的场景训练。例如，阿里云PAI可以提供支持近线性加速的内核，让训练任务在多个引擎上实现性能提升和性能加速。 训练环节的提升 构可以灵活部署ML训练的计算资源，通过灵活的训练为AI开发降低成本，提高效率。人工智能开发平台的云端可以实时监控资源池的计算能力，在训练中�现闲置计算资源时，将闲置资源分配给任务，提高任务的计算能力，使训练作业能够快速收敛。任务提交后，弹性训练方案还可以根据资源池中空闲资源的使用情况和弹性工作情况，将回收的资源分配给新的ML训练任务，从而保证新的ML训练的计算能力。 用户体验的提升: 云原生应用可以为人工智能开发平台用户（开发者）提供更敏捷、更高质量的应用交付，以及更简单、更高效的应用管理，并提供更快