如何轻松实现云端数据存储、管理及智能化处理？

标兼顾安全、性能、成本和易用性的 对象存储 腾讯云对象存储产品团队 目录 •对象存储产品特性解读 •对象存储核心能力及使用场景 •客户案例分享 •GlobalStorage新品预告：适合中小企业的融合存储方案 对象存储简介 对象存储（CloudObjectStorage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持HTTP/HTTPS协议访问的分布式存储服务。通过控制台、API、SDK和工具等多样化方式，用户可简单、快速地接入COS，进行多格式文件的上传、下载和管理，实现海量数据存储和管理。 存储可靠性 提供多副本或者纠删码冗余存储，最高可达12个9的数据持久性。 高性能 高达30,000QPS的请求性能；保障客户业务在高并发情况下稳定运行。 开放兼容 提供全兼容AWSS3的接口，以及多种生态工具支持。 高可用 提供高达99.95%的服务可用性，为您的业务保驾护航。 数据安全 提供多租户权限隔离，支持HTTPS加密传输，支持SSE-KMS加密等多种数据加密方式。 低成本 提供具有竞争力的产品定价，支持数据生命周期管理，进一步降低云存储成本。 对象存储产品体系 高可靠性及高可用性架构 接入网关 负载均衡 路由选择 流量清洗 三网融合 网络接入 •多运营商多线路接入 •攻击流量清洗 接入服务 增值服务 监控统计 身份鉴权 请求解析 •负载均衡结构 应用接入 •应用层无状态管理 Yotta存储引擎 管理节点 Volume 存储节点 Page /Offset BN1 BN2 BN… BNK 集群调度中心 数据均衡中心 •集群横向无限扩展 数据层 •数据跨机架、跨交换机部署 •索引分级存储 •数据自动均衡、弹性扩展 •冷热数据手动、自动沉降 容灾设计 •内外网负载均衡 •请求高可用、可迁移 •模块心跳检测，秒级切换 •故障自愈机制 99.9999999999% 存储可靠性高达12个9，保障客户数据不丢失 99.995% 服务可用性高达99.995%保障客户业务不掉链 30000 请求QPS高达30,000提供极致读写体验 全产品矩阵支持 全生命周期管理，满足热、温、冷分层存储需求 标准存储 低频存储 智能分层存储 归档存储 深度归档存储 经常访问的数据 •毫秒即时访问 较低频率访问的数据 •毫秒即时访问 •最低保留期限30天 •最小存储64KB 访问模式不固定的数据 •支持标准、低频、归档、深度归档 •根据访问模式自动转换层级 离线存档数据 •离线归档，支持分钟级～小时级取回 •最低保留期限90天 •最小存储64KB 长期保存的离线存档数据 •离线归档，支持小时级取回 •最低保留期限180天 •最小存储64KB 数据处理能力介绍 针对用户普遍的需要面对多个服务的场景，提供【存+用】一站式处理平台，加强黏性，降低用户使用成本，帮助用户挖掘数据价值 国内首家提供AVIF图片压缩的云厂商(相比JPEG，WebP等格式，缩小50%+) 目前处理能力最丰富的存储+处理平台 一站式存储+数据处理智能平台 1站式 一套API，开箱即用，降低使用门槛 0流量 服务间调用零外网流量，用户成本更低 快30% 图片处理速度比竞品速度平均快30% 图片/音视频/文档处理 数据万象 内容智能识别 内容安全审核 自动化工作流 COS对象存储底座 数据湖存储：三级加速体系，让数据流动更高效 50% Tbps 10X 数规据湖模规增模长 计算 节点 ICEBERG 计算 节点 ICEBERG 计算 节点 ICEBERG 计算 元数据缓存层 元数据缓存层 数据缓存层 数据缓存层 存储 温冷数据流 热数据流 元数据流 AZ加速器元数据管理服务 RS MDS FSRoute RSRS FSRoute Proxy MetaServer SSD 集群 FSMeta FSMeta Database Proxy MetaServer Database AZ1 AZ1 AZ1 集群调度中心 集群调度中心 集群调度中心 数据均衡中心 数据均衡中心 数据均衡中心 CacheLoader ProxyCache CacheManager 数据加速器GooseFS采用智能分层缓存架构降低50%+对象存储带宽 AZ加速器 采用海量强一致缓存技术提供Tbps级海量吞吐 元数据加速器 客户收益 客户收益 客户带宽消耗 客户整体成本 降低70%+ ↓50% 采用分布式元数据管理技术提升10倍元数据操作性能 Tstor私有云存储产品介绍 云边协同 •数据在云上云下无缝流动 •云备份与回源、云分层、云复制 •一致的使用体验 安全可靠 •部件、节点、机柜、数据中心、云等多级可靠性设计，系统可用性99.9999% •端到端数据加密，完善的鉴权管理，保证数据的安全访问 融合高效 •一套存储同时支持对象、文件、块 TStor是腾讯云面向私有云与混合云场景推出的软硬一体的分布式存储产品。 •开箱即用，简化部署，可视化管理 •大比例EC，自研硬件，TCO节省20%以上 对象存储核心能力及使用场景 基于跨地域复制功能的高可用性架构 通过跨地域复制功能将数据拷贝到备桶，同时通过高可用层保障主备存储桶处于双活状态，在写故障时可实现容灾链路切换；通过CDN的方式将COS主备存储桶分别作为回源源站，在故障时可实现自动读自动切换。 UGC场景安全：精细化权限管理+多种数据防覆盖方案 精细化权限管理数据防覆盖 对象锁定功能 已支持17个PolicyCondition，用于限制请求来源、https协议、文 件类型、文件大小、存储类型、对象版本等。 •通过CA认证。满足美国证券交易委员会（SEC）、美国金融业监管局 （FINRA）和美国商品期货交易（CFTC）相关合规要求。 •对象级别worm，灵活管理锁定状态。 x-cos-forbid-overwrite头部 •同名文件检测，结合条件键使用，进一步加强安全。 版本控制 •保护历史版本，覆盖及时追回。 生命周期结合智能分层存储，更加灵活、智能的成本优化方案 生命周期智能分层存储 生命周期功能支持基于最后修改时间和最后访问时间设置规则。 智能分层存储适合访问模式不固定的数据，近期新增冷存储层、归档存储层、深度归档存储层 归档层 低频层 标准层 30天无访问 对象被访问后，自动回到标准层 180+天无访问 91+天无访问 可选层 深度归档层 数据上云方案：多端上传、全球加速、CDN分发 高吞吐，高性能。通过专线、全球加速等多种方式将数据上云，保障网络带宽稳定性；提供云上视频处理图片处理能力；通过CDN加速内容分发速率和稳定性。 云视频/图片处理能力 客户IDC 云点播 数据万象 专线传输 COS接入 加密传输身份鉴权 … 加速下载 专线传输 客户端 对象存储COS 生命周期管理 CDN内容分发 全球加速上传 归档存储深度归档存储 客户案例 存算分离客户案例 Master：SA2*2 EMR计算集群 Core：IT5*50 Task：SA2*170 业务系统层 计算层 缓存层 COS存储集群 GooseFSServer 2*3570GBNVMeSSD 成人 淘金 财务 北极星 COS对象存储 元数据加速层 GooseFSClient GooseFSMaster 方案描述 基于GooseFS+COS的存算分离方案，通过COS降低存储成本，通过GooseFS缓存层提升数据访问性能，开启COS元数据加速进一步优化rename、list性能 大量使用基于AMD的SA2低成本机型，仅部分节点部署GooseFSServer，进一步降低方案总体成本 GooseFS可100%兼容原有HDFS语义，通过透明加速能力随时启停，简化业务迁移 方案价值 计算集群总核数从7000+降低到5000+，叠加AMD机型和COS对象存储带来的成本降低，月销降低40%以上 90%以上作业的数据读取通过GooseFSNVMe高速缓存完成，相比原来的SATA本地盘读取效率大幅提升，整体作业执行时间缩短20% 架构变更对上层业务透明，无需业务代码适配改造，仅2个月时间就完成业务切换，较用户预期缩短33% 自动驾驶客户案例 上海腾讯云 训练集数据预处理服务 北京腾讯云 客户痛点 视频文件原本放主机侧，本地硬盘存储成本高 数据孤岛，EKS集群数据无法共享 方案描述 数据预处理：GooseFS单独集群根据客户Airflow调度算法加载提前预热需要的COS上视频文件后给EKSPod做图片处理（截帧，脱敏）后存放到COS 自动驾驶训练：上海训练预处理服务产生图片库用COS跨区域复制到北京，由蔚来北京算法部门通过GooseFS提前预热图片进GPU进行自动驾驶训练和推理平台使用 方案价值 GooseFS作为统一数据中台进行数据预热加速训练预处理和自动驾驶训练业务，90%+以上数据命中在Cache，训练速度提高30% 训练任务集群 （EKS:serverlesskubernetes） （黑石GPU+GooseFS） 上Preprocessing 标注后的 GPU GooseFSWorker GPU GooseFSWorker 图片训练集北 Pod Pod Pod 海京 数算 据法 中部 部 台GooseFSWorkerGooseFS 门Master 独立集群 门 处理后图片上传 缓存图片库Metadata 源视频上传处理后图片下载（异步写）Rawdata Datasets 本地数据中心 COS对象存储 cameraRadarLIdar COS跨区域复制 Images … annotations 专线 COS对象存储 TStorOneCOS 智能处理客户案例 •案例简介： 某社交平台每日有大量的UGC视频上传，平台主要传播途径为PC网页和手机app，需要有针对性的对视频进行转码处理。同时在瀑布流形式的信息展示界面，需要有足够吸引人的视频封面。 •案例详情： 1、客户使用H.265编码能力，在保证相同的视频质量下输出更小的视频。 2、使用智能封面和视频转动图能力，为应用程序提供了精彩丰富的视频封面。 3、通过工作流的方式，绑定了一个业务存储桶，视频上传至该存储桶后进行自动处理。 4、通过接收处理结果通知，进行后续的视频发布等流程。 •案例优势&客户收益： 1、视频上传自动处理；释放人力审核资源 2、转码类型覆盖全面，自定义参数丰富；全方位兼容多终端，相比于普通转码，265编码让视频码流减少约40% GlobalStorage新品预告 全局融合存储GlobalStorage新品预告 全局融合存储（GlobalStorage）是什么？ 安全可靠、简单易用、分发加速的无地域存储服务，为客户提供云原生的存储+分发融合解决方案。产品功能更加简单易用，存储+分发一体解决方案，支持缓存自动刷新、无回源流量费用，适合中小企业使用。 更轻 无地域、无存储类型，极简体验，轻松上手，开箱即用的存储服务 更快 存储+分发一体解决方案，支持自动流量调度、自动缓存刷新、无回源流量。 更省 计费更加简单，支持自定义套餐，按需自由设定存储容量、流量规格；套餐内容量价低至5折，流量低至7折。 分发加速，更轻更快 Global：一站闭环，省心加速 仅下行流量费用 缓存自动刷新 结合静态网站能力，一键加速您的个人博客、官网门户 COS：多个产品，配置复杂 需要额外开通CDN加速服务 加速流量费用+回源流量费用+https请求费用…… Step1域名控制台，注册域名 缓存刷新依赖SCF函数，需要额外收费 Step2COS控制台，开启 Step3域名控制台，解析 三个控制台四个产品五个步骤 Step4CDN控制台，设https Step5COS控制台，缓存刷新SCF 计费套餐，更省更好