2024年AIReady的数据基础设施参考架构白皮书

华为技术有限公司 深圳龙岗区坂田华为基地HUAWEI 电话：+8675528780808 邮编：518129 www.huawei.com Onlyforprel Onlyforpreview Al-Ready 的数据基础设施参考架构白皮书 存以智用，加速数据觉醒 nlyforpreviev 商标声明 WEI，是华为技术有限公司商标或者注册商标，在本手册中以及本手册描述 免责声明 本文档可能含有预测信息，包括但不限于有关未来的财务、运营、产品系列、新技术等信息。 素，可能导致实际结果与预测信息有很大的差别。因此，本文档信息仅供参考，不构成任何要约或承诺，华为不对您在本文 板权所有华为技术有限公司2024。保留一切权利。 非经华为技术有限公司书面同意，任何单位和个人不得擅自摘抄、复制本手册内容的部分或全部，并不得以任何形式传播。 目录 编写委员会 顾问 陈国良、周跃峰 指导委员会 庞鑫、常、胜、杨柏梁、樊杰01序言一 张祎严浩 03序言二 主编 龚涛韩茂、孙睿 AI大模型加速行业智能化 forpreviey A/-Ready的数据基础设施的特征与参考架构 03 25AI-Ready的数据基础设施定义与特征 28A/-Ready的数据基础设施三大应用场景及参考架构 28智算中心场景 编委01 转型33云和互联网场景 36边缘训推场景 07AI大模型最新发展概况 夏庆文、王振、周毅、刘乙成08AI大模型应用在行业逐步普及 梁佳妮、乐遥、孙逊、秦烜、 索海东、段芳成、曹长斌、陈晓丽 11Al大模型需要A/-Ready的基础设施 Al-Ready的数据基础设施实践案例 04 梁莹、张、勇、夏志辉、王耀辉、41科大讯飞x华为OceanStor存储，加速A/全流程业务 李泽宇、曾帆、任祥贵、徐晶、 李国杰、温立、张震 （以上排名不分先后） AI大模型数据基础设施实 02践中的挑战与O建n议lyforprevie 42D银行x华为OceanStor存储，用AI赋能智慧金融业务T云x华为OceanDisk存储，构筑领先智算中心云底座 45紫东太初x华为FusionCube训推一体机，加速智能客服场景创新与实践 主编单位15数据资产管理挑战 华为技术有限公司16集群可用度挑战 18数据一致性挑战 20数据安全挑战 给CIO的行动建议 0552参考文献 A/-Ready的数据基础设施参考架构白皮书02 打造“Al-Ready”的数据基础设施，既是推四、可持续与绿色。随着数据量的爆发式增长，数据基础设施的能源消耗与环境影响不 体创新能力、实现数字化转型的战略选择。容忽视。我们应倡导并践行绿色数据中心建 设，通过技术创新与管理优化，提高能源使用 Al-Ready的数据基础设施应具备以下特效率，减少碳排放，实现数据基础设施的可持征：续发展。 C一、开放与互联。在数据资源日益丰富多 A/-Ready的数据基础设施是产业界研究 元的今天，数据基础设施需打破信息孤岛，实的热点，也是各国投入的重点方向，这本白皮 现跨部门、跨领域、跨地域的数据互联互通，书是一次非常有意义的探索，对于相关决策部 CHAIN口规范，推动数据资源的有序流动与价值共深化合作和持续创新，推动数据基础设施快速 Gpre 形成开放共享的数据生态。这需要我们构建高 效的数据交换平台，制定统一的数据标准与接义，在新的趋势和发展机遇下，期待产业各方 门、企业界、学术界具有很好的启示和参考意 创。 二、智能与敏捷。AI时代的数据基础设 发展，在促进数字经济发展上发挥更大的作 用，扬帆远航！ 序言一 Only forprev 施应具备智能化处理能力，通过自动化工具和算法模型对海量数据进行高效清洗、整合、挖 掘，为AI应用提供精准、实时的数据支持。陈国良 同时，基础设施应具有高度的灵活性与可扩展中国科学院院士 性，能够快速响应业务需求变化，实现数据服务的按需供给与动态调整。 大模型赋予数据以新的生命力，AI时代存力，运力共同支撑高质量的数据挖掘和存储三、安全与合规。在保障数据价值释放的 大数据蕴含的价值将进一步涌现。数据因AI能力。数据基础设施正在成为大模型发展的基同时，必须高度重视数据安全与隐私保护。数 而变得越来越重要，数据要素是新型生产力的石，首先，数据基础设施是大模型的“粮仓”，据基础设施应内置严格的数据访问控制机制， 代表，数据基础设施的能力成为AI时代的国为大模型提供数据养料，没有充足、优质的数采用先进的加密、脱敏等技术手段，防止数据 家重要竞争力。据，大模型的学习能力将大打折扣；其次，数泄露、篡改或滥用。此外，应遵循国内外相关据基础设施的完善程度直接影响大模型的训练法律法规，建立健全数据生命周期管理机制， AI的发展与数据基础设施密不可分，AI大速度和可用度，进而影响大模型在各个领域的确保数据处理活动合法合规。 模型基础设施的竞争正在进入新的阶段，从单发展速度；最后，数据基础设施是抵御数据风 一的比拼算力，到比拼算存运的协同，由算力，险的最重要防线，是数据要素的保险库。因此， I序言二 今天，人工智能（AI）发展如火如茶。随数据的载体，如果无法提供高性能、强一致、 orpreviev 数据中心、多分支的数据高效归集到AI智算华为公司在数据基础设施产业深耕超过二 着基于Transformer的深度学习算法日趋完安全可靠的数据访问服务，那再高质量的数据中心；再结合算存网协同配合，让归集后的数十年，深刻理解数据是行业发展的基石。通过善并逐渐收敛，业界普遍通过堆叠算力以获得也无法有效服务于AI计算。借用一句名言“茶据可以被高效访问和处理，让数据做到真正可与业界专家、客户和伙伴进行深入沟通和相互 更好的大模型训练结果。与此同时，人们日益壶里煮饺子，倒不出来就不算饺子”。所以，用。其次，它应该是针对AI场景具有高性能学习，我们编写了本白皮书，旨在为AI大模关注到数据基础设施作为承载数据的平台，对面向AI构建具有先进存力的数据基础设施，和强一致的，以在数据加载阶段提供海量小文型时代提供AI-Ready的数据基础设施提供 训练效率与结果的影响亦不容小靓。甚至可以已经成为AI大模型时代的关键。件的超高性能随机访问，以及训练过程中提供一些参考意见，希望可以对在建或规划中智算 说，其在某种程度上对训练结果的影响已超越对Checkpoint的超大带宽和强一致访问，减中心先进存力的设计与建设有所神益。 算法与算力本身，成为影响AI发展的重要因 素之一 在认识到数据和数据基础设施对于AI的重要性的同时，我们还需要回答一个问题：究 orpr 群可用度。再次，数据基础设施应该具备较高工欲善其事，必先利其器。华为愿与产业 竟什么样的数据基础设施才是AI大模型计算尽管业内对于人工智能领域的诸多问题仍的最佳数据基础设施？我想应该至少满足以下 在探索之中，但行业对大模型发展方向正在逐四个条件。首先，数据作为企业的核心资产， 的性能密度和充分的线性横向扩展能力，以应 对训练数据量的激增以及数据类型的多样化， 做到可随时按需匹配算力集群扩展。最后，数 各方协作，携手共同努力完善A/-Ready数 据基础设施的定义和参考架构，共创AI新时 代。 渐清晰，其中一点就是数据量及其质量将在人已经成为最重要的生产要素之一，需要做到可据作为企业的核心资产，需要被充分保护，防 工智能发展的新阶段深度影响智能的涌现。在视可管可用，即数据在平时就被妥善保存并通止自然灾害或者人因导致的数据丢失、泄露 世界人工智能大会（WAIC）上，有分析报告过一张数据资产地图进行可视化管理；并在大等。我们将满足上述基本要求的基础设施称为周跃峰博士 指出“未来一个模型的好坏，20%由算法决模型训练数据归集阶段，可以通过基于策略的 定，80%由数据质量决定”。数据基础设施是方式来管理关键数据的流动，支持将散布在多 Al-Ready的数据基础设施。华为公司副总裁 数据存储产品线总裁 AI大模型加速行业 01智能化转型 Onl AI大模型最新发展概况 Onl AI大模型应用在行业逐步普及 Al大模型需要A/-Ready的基础设施 Al-Ready的数据基础设施参考架构白皮书08 2024年2月16日，OpenAl再度引领图灵奖得主YannLeCun提出的“世界 风潮，发布了首款文生视频大模型Sora，其模型”概念，如今正通过诸如Sora这样的实 践得以逐步实现。相较于传统的NLP语言大 频，具有多角度视频一致性及视觉风格、对物模型，视频大模型呈现出两大显著特点。首先， 理世界理解等特性。根据OpenAl官网披露视频大模型所需的训练数据量极为庞大，原始 的信息，Sora不仅能够准确解读用户数据体量相较于NLP达到几百甚至上干PBPrompt的需求，更会尝试理解Prompt中事级以上，这对数据基础设施的存储和处理能力物在物理世界中的存在方式和运行规律，使得提出了极高的挑战。其次，视频大模型采用基生成的视频逼真度非常高。随着人工智能在理于模型的再标注（re-captioning）技术来训 解物理世界规律方面的显著进步，AI大模型练标注模型，这一技术使得计算量呈指数级增 正由单模态的NLP领域向文生视频等多模态长。据估算，生成一个仅60顿的视频（约 AI大模型加速行业智能化转型方向迅速演进，也标志着AI技术正迈向一个6-8秒）所需的计算量相当于生成120万个 Tokens，这要求Al基础设施具备强大且稳定 的算力资源。 自人工智能科学诞生至今60多年的发展历史过程中，人工智能经历了三次发展高潮，分别是 1956到1970年代，1980到1990年代和2000年代至今。1959年ArthurSamuel提出了机 器学习，推动人工智能进入第一个发展高潮期。此后70年代未期出现了专家系统，标志着人工智IIAI大模型应用在行业逐步普及 能从理论研究走向实际应用。80年代到90年代随着美国和日本立项支持人工智能研究，人工智 能进入第二个发展高潮期，一个里程碑事件是IBM深蓝在1997年战胜了国际象棋世界冠军AI大模型的应用场景日渐丰富，正在加速的开发方式，客户无需针对单个场景再开发单 GarryKasparoV。当前人工智能处于第三个发展阶段，2006年加拿大Hinton教授提出了深度向各个行业渗透。一方面，大模型实现了多场独的AI模型，而是由AI大模型厂商开发基础 学习的概念，近年来Transformer大模型的问世推动深度学习模型参数量从几万跃升至数干亿甚景覆盖、精度限制突破、泛化能力增强和研发的LO层模型，由行业IT供应商开发L1层的 至更大，模型层数从开始的个位数逐步发展到成百上干。大模型实现了更好的泛化能力和更高的 性能，正在成为AI发展的新范式。 能力自动化，成为了AI走向产业化应用的重 行业模型，应用场景IT供应商提供L2层的细 分场景模型，如图1-1所示。 ⅡAI大模型最新发展概况 基础模型LO行业模型L1细分场景模型L2 科研机构科研机构+行业伙伴科研机构+行业场景化专家 灵活适配 随着NLP、GPT、强化学习等AI关键技不仅将深刻影响互联网、工业制造、政企、媒+行业知识细分场景 术的重大突破，一场全新的AI大模型科技革资等诸多领域，更是将AI从原先局限于“感经验反馈 违约风险3C质检流行元素 屏能动机汽车超造辅助设计 经验结构财务异常纺织质检半足制 命已经拉开序幕。2022年11月30日，知世界、理解世界”的专用领域应用，推向了智慧医疗自动驾驶金融风控表示沉淀反馈 OpenAl推出了革命性的ChatGPT，其在对更为广阔的通用领域，开启了以“生成创造世话流畅度、知识反馈精准度等方面均展现出了界”为核心的AGI时代。 超越普通人类的卓越性能。ChatGPT的出现 图1-1数据-模型-选代全生命周期 沉淀行业Know-how 09A/-Ready的数据基础设施参考架构白皮书Al-Ready的数据基础设施参考架构白皮书10 随着大模型技术的不断发展，各个行业都正在积极探索其具体的应用场景，如图1-2所示。在使能