腾讯云AIGC存储解决方案

腾讯云AIGC存储解决方案 高效智能，更全面的AI存储服务 了解更多 业务痛点 数据采集环节 需要支持数据从公网便捷、大规模的采集，一般需数十Gbps公网带宽；同时由于数据需要跨地域传输，汇聚到一个统一存储池，需要就近接入和稳定的跨地域内网传输能力。 数据存储环节 大模型需要处理和存储大量的数据集来保存原始数据和处理过的数据；随着模型和数据集的不断增长，存储系统需要百EB级弹性可扩展的数据湖存储能力。 数据清洗和训练环节 高性能的存储系统可以大幅提升清洗和训练的效率，需要大带宽、低延迟和连续的读写能力。 数据审核与智理环节 AI生成的内容有很强的侵权和违规风险，为确保业务持续稳定的运作，AIGC服务提供商需在内容生成时进行AIGC内容标识，同时具备面向多模态内容的审核能力。 方案简介 腾讯云AIGC存储解决方案主要由对象存储COS、高性能并行文件存储CFSTurbo、数据加速器GooseFS和数据万象CI等多种产品组成，覆盖AI大模型数据采集、清洗、训练、推理和智理全流程，将大模型的数据清洗和训练效率提升一倍，需要的时间缩短一半。 数据预处理 模型训练 仿真 数据清洗 重复数据删除 分词 嵌入 文本to文本 文本to图片 分割 重新标注 训练 文本to视频 多模态 HDFS POSIX POSIX POSIX GooseFS-Cache GooseFS-Cache GooseFS-Cache DataIn POSIX DataOut 数据迁移MSP GooseFS-X 数据万象 原始数据 训练数据 模型数据 AI生成数据 COS数据湖 数据审核数据智理 文本审核文本检索图片审核图片检索视频审核视频检索 全景能力图 围绕AIGC场景，提供数据存储、训练加速、内容审核端到端存储解决方案 CFSTurbo大模型解决方案 训练集推理集群 大模型checkpoint 2-5GB大文件直写单节点5G 周期性同步 GPU集群客户端 RestartCheckpoint 内存Cache Restart 样本数据读取 GPU 客户端 1.TB级模型文件读取整体带宽10GB/s以内 2.推理文件读取延时 2-5GB大文件直写集群带宽： 20-50GB/s Checkpoint 2-5GB大文件直读集群带宽： 20-50GB/s 大文件偏移读取500MB/s以内 百us级。 CFSTurbo性能型（性能线性扩容） 自动分层沉降 CFS低频存储 产品优势 海量存储 对象存储COS为AIGC业务全流程提供了统一的数据存储池，COS底层采用全自研YottaStore存储引擎，支持单集群百EB级规模，存储空间无容量上限。 安全稳定 对象存储COS最高可达12个9的数据持久性（100亿文件中才可能发生1个文件损坏）和99.995%的数据可用性。 高性能 CFSTurbo提供TB级的吞吐能力、亚毫秒的时延和千万级的OPS，10s内完成checkpoint文件的读写，并满足万卡级集群进行大模型训练的样本读取需求。数据加速器GooseFS具备高性能、低延迟、大吞吐等特性；支持百亿级元数据规模、百万级IOPS、亚毫秒级延迟和Tbps吞吐；大模型数据清洗效率提升2～3倍。 用户需求全覆盖 数据万象CI面向全媒体类型内容，在审核高准确率的同时大幅降低延时；提供明暗水印能力，为每个作品生成专属ID，安全可溯源；基于AI大模型和向量数据库的跨模态搜索能力打造智能检索MetaInsight，95%+召回率助力进一步挖掘AIGC数据价值。 相关应用场景 01.数据湖 将多种数据源数据存储在对象存储COS中，通过数据加速器GooseFS提升数据本地性，元数据加速器提升元数据访问能力，COS加速器减少内网穿越带宽，提升了对象存储COS在存算分离方案下的性能指标，有效减少带宽消耗，提升了数据湖存储方案的竞争优势。 Apps 数据接入 ComputerSide 数据加速 HDFSPOSIX GooseFS-Cache Storage-Less 数据检索 数据迁移MSP DataIngestService POSIX GooseFS-Lite Gateway 全球加速 DataIngestAccelerator POSIX GooseFS-X Provisioned-Cluster 数据万象CI MetadataInsightService StorageSide HDFS MetadataAccelerator COS/S3 COS Accelerator COS数据湖 02.自动驾驶 公有云COS和私有化TStor对象存储构建自动驾驶平台混合云存储池，满足海量数据低成本存储需求；结合GooseFS加速存储访问性能，解决海量小文件和HDFS文件访问的需求，实现数据智能预热和就近更高性能访问。 数据预处理 训练集群 仿真集群 数据清洗 脱敏 SIL MIL 抽帧 标注 … HIL POSIXHDFS POSIX POSIX NVMESSD Leveragethecluster'sNVMESSD GooseFS-Cache NVMESSD Leveragethecluster'sNVMESSD GooseFS-Cache NoCache DirectlyaccessCOSviaPOSIXprotocol GooseFS-Lite DateManagement POSIX Multi-modelSearch Metalnsight DedicatedSSDstoragepool GooseFS-X COS/S3 Capacitystoragepool COSDataLake 03.HPDA 流式计算 OLAP数据仓库 AI训练/推理 HPC HPDA（High-PerformanceDataAnalytics）泛指数据密集型的高存储压力应用，包括高性能计算、AI、自动驾驶、大数据、渲染等，其最大的挑战和特点是数据量大、并发度高、时效性强以及计算复杂。 CFSTurbo并行客户端（DistributedParallelClient) 大文件大IO 大文件小IO 小文件元数据OP 小文件小IO 业务需求及解决方案 数据流动 /拷贝 HDFS Posix Posix/MPI 对象存储COS CFSTurbo高性能并行文件存储 数据拷贝 专线 IDC 存储 ACL权限控制智能分层 目录配额 回收站 低频存储 冷存储 HPDA场景四大关键需求 核心诉求1：同时满足海量数据的高性能访问和低成本的存储。 方案能力：具备多层次的存储空间，提供统一的命名空间和访问方式，并支持智能分层的能力。 核心诉求2：统一存储可满足各个阶段数据读写的要求，无需跨协议拷贝数据，提升运转效率。 方案能力：提供多种协议的支持，包括完整的POSIX、HDFS、NFS、MPI等。 核心诉求3：统一存储可满足复杂应用场景下多变的数据管理和使用需求。 方案能力：具备软硬链接、随机读写、truncate等复杂文件操作的能力，例如在上亿的训练集文件上，为每个文件频繁创建新的硬链接，以实现训练集的版本管理能力。 核心诉求4：充分利用计算端的算力资源，在千卡/万卡的集群中突破存储瓶颈。 方案能力：基于服务端和客户端的全并行的架构，数据和元数据均支持水平的横向扩展。CFSTurbo可在各类高压力环境下，提供极致的吞吐（TB/s）、IOPS（千万级）和低时延（亚毫秒级）。 总结：CFSTurbo是腾讯云面向HPDA场景推出的高性能并行文件存储，可满足如上的关键需求。已累计服务了千万CPU核和数万卡的用户，是AI时代下存储底座的最佳选择。