AI-Ready的数据基础设施参考架构白皮书：存以智用，加速数据觉醒

华为A/-Ready的数据基础设施参考架构白皮书总结

一、AI大模型加速行业智能化转型

• AI大模型最新发展概况：AI大模型正从单模态的NLP领域向文生视频等多模态发展，模型参数量从千亿跃升至数万亿，训练数据量也呈指数级增长，对数据基础设施的存储和处理能力提出极高挑战。
• AI大模型应用在行业逐步普及：AI大模型在互联网、工业制造、政企、传媒、金融、医疗、交通、制造等多个领域得到应用，实现多场景覆盖、精度限制突破、泛化能力增强和研发效率提升。
• AI大模型需要A/-Ready的基础设施：AI大模型的发展需要高效、大规模的数据基础设施支撑，包括规模计算、高效存储、无损网络等。

二、AI大模型数据基础设施实践中的挑战与建议

• 数据资产管理挑战：企业数据分散、数据质量不高、数据孤岛严重，需要建立统一的数据管理平台，实现数据资产可视、可管、可用。
• 集群可用度挑战：算力浪费严重，集群可用度普遍不足50%，需要构建强一致高性能的集群文件存储系统，提升Checkpoint同步保存和加载能力。
• 数据一致性挑战：数据强一致性在A/-Ready的数据基础设施选型中至关重要，需要确保任何节点、任何时间都能访问到最近更新的数据。
• 数据安全挑战：AI发展推动数据觉醒，但也带来数据安全风险，需要构建全方位的数据保护能力，应对数据投毒、勒索软件等攻击。

三、A/-Ready的数据基础设施的特征与参考架构

• A/-Ready的数据基础设施定义与特征：A/-Ready的数据基础设施应具备开放与互联、智能与敏捷、安全与合规等特征，支持大规模数据归集和预处理、高性能和强一致性、超强韧性、内生数据安全等。
• A/-Ready的数据基础设施三大应用场景及参考架构：
  • 智算中心场景：需要构建数据湖解决方案，提供统一命名空间、智能分级、多协议融合互通、EB级扩展、跨域数据共享与流动等能力。
  • 云和互联网场景：需要构建高性能开放式存储硬件底座，提供高带宽性能、海量硬盘状态检测、高度穴余保护、极低TCO、风险防控等能力。
  • 边缘训推场景：需要构建边缘训推一体化解决方案，提供一站式知识生成、流性编排、多语言实现、高精度模块化RAG、存算网协同等能力。

四、A/-Ready的数据基础设施实践案例

• 科大讯飞x华为OceanStor存储，加速A/全流程业务：通过华为OceanStor存储，实现数据湖式存储，提升集群可用度，降低数据治理成本。
• D银行x华为OceanStor存储，用AI赋能智慧金融业务：通过华为OceanStor存储，构建AI应用基石，提升存储带宽和可靠性，赋能智慧金融业务。
• T云x华为OceanDisk存储，构筑领先智算中心云底座：通过华为OceanDisk智能盘框，提供高性能、高可靠存储，构筑领先智算中心云底座。
• 紫东太初x华为FusionCube训推一体机，加速智能客服场景创新与实践：通过华为FusionCube训推一体机，实现高效训练、安全训推、全栈运维，加速智能客服场景创新与实践。

五、给CIO的行动建议

• 建立统一的数据湖：实现数据资产可视、可管、可用，加速大模型服务落地。
• 参考业界最佳实践选择数据基础设施方案：根据自身业务诉求，选择最优数据基础设施方案，满足大模型对性能、可靠性的要求。
• 构建全方位的数据保护能力：应对数据投毒、勒索软件等攻击，保障数据安全。
• 统筹考虑算力、存储、网络等资源：合理配置资源，提升资源利用率和集群可用度。