AnyBackup Family 8 Hadoop 数据保护特性解读

AnyBackup产品线 CONTENTS Hadoop简介与挑战PART 1 Hadoop数据保护方案PART 2 应用场景PART 3 技术原理PART 4 竞争分析PART 5 客户案例PART 6 PART01Hadoop简介与挑战 Hadoop是一套开源的用于大规模数据集的分布式存储和处理的工具平台。它最早由Yahoo的技术团队根据Google所发布的公开论文思想用JAVA语言开发，现在则隶属于apache基金会。Hadoop以分布式文件系统HDFS（Hadoop distributed file system）和Map Reduce分布式计算框架为核心，为用户提供了底层细节透明的分 布式基础设施。 Hadoop平台市场规模持续增长 预计未来5年我国Hadoop平台软件市场平均增长率为25% Hadoop已成为各行各业的重要性基础设施 中国大数据平台部署每年保持高速增长，市场规模占比不断提高；其中作为大数据市场的代表性平台——Hadoop，广泛应用于各个行业 Hadoop为什么需要保护？ 停机导致巨大损失 数据安全威胁严峻 国家政策法规驱动 GB/T 22239-2019信息安全技术网络安全等级保护基本要求（等保2.0）8.1.4.9数据备份恢复本项要求包括a)云服务客户应在本地保存其业务数据的备份;b)应提供异地实时备份功能,利用通信网络将重要数据实时备份至备份场地;c)应提供重要数据处理系统的热冗余，保证系统的高可用性 •Hadoop作为业务平台的基础设施，一旦停机，导致其它业务也将无法正常运行 随着Hadoop平台历史数据持续累积，保障数据安全面临的威胁愈发严峻： 1.安全事件频繁发生2.勒索病毒日益猖狂3.人为错误造成Hadoop平台数据丢失 •Gartner一项调查中估计，以Hadoop为首的大数据平台经历一小时停机可能会给企业造成30万美元/小时的损失 Hadoop平台数据保护面临的挑战 海量数据备份难 数据安全风险大 •PB级数据，如何有限的备份窗口内完成备份？•长时间保留海量数据备份副本，如何降低成本？ •如何确保备份数据的安全存储与合规保留？ •如何快速定位核心业务数据，实现精准备份及按需恢复管理？ PART02Hadoop数据保护方案 PART2.1 Hadoop数据保护方案 AnyBackupFamily 8 Hadoop数据保护方案 极致性能 安全合规 成本优化 广泛兼容 •基于分布式架构的多点并发备份恢复、源端重删、无合成永久增量等技术，实现极致性能 •全方位抵御勒索病毒，快速灾难恢复保障业务连续性•通过无代理备份，使生产业务安全备份 •融合部署，节省客户端部署资源•采用重删、永久增量技术，避免海量数据副本堆叠，节约存储资源 •统一方案兼容多种衍生平台•支持HDFS、Hive、HBase等主流组件备份 Proplyd分布式存储，消除海量数据性能瓶颈 极致性能 多节点并发传输AnyBackup备份集群不再成为性能瓶颈，可部署尽可能多的AnyBackup备份节点与客户端，提升数据传输性能 多通道并发传输 多通道并发备份/恢复，最大化资源利用率，提升备份数据读写与存储性能，减小备份/恢复时间窗口 Proplyd分布式存储 无合成永久增量，提升96倍以上备份效率 •网络环境为万兆网络•6个备份周期•首次备份总数据量为1PB•每次备份增量数据10TB 分布式重复数据删除，节约90%存储资源 AnyBackup永久增量＋重删备份 传统方案：每周全备 V8数据保护方案：首次全备+每日增量备份 •备份副本保留28天•首次重删率60% •重删+永久增量存储资源占用计算公式：（完备+ N x增量）*（1-首次重删率）•N为副本保留数 •首次备份总数据量为1PB•每周增量数据10TB 多种部署方式，降低部署成本，保障业务安全 融合部署，降低部署成本利用内置客户端备份，节省服务器使用数量，降低部署成本 无代理备份，保障生产业务安全 将客户端部署在Hadoop生产集群以外，避免对用户生产环境造成不必要影响 全方位抵御勒索病毒，保障数据安全 事前：监控、备份、演练 统一方案兼容多种衍生平台 ApacheHadoop、星环TDH、华为云MRS、Cloudera CDH… 平台组件HDFS、HBase、Hive … 采用各平台通用的数据管理与读写接口/工具实现，“无视”平台之间差异 AnyBackup Hadoop平台保护方案亮点 一句话介绍基于创新的Proplyd分布式存储架构，消除了海量数据备份恢复性能瓶颈，采用分布式重删、无合成永久增量、不可变存储等关键技术，为Hadoop提供精准、高效、安全的数据保护方案 面临的挑战 方案价值 AnyBackupFamily8新增优势 AnyBackup Family 8相较于AnyBackup Family 7进行了全面的架构升级，显著提升了Hadoop数据保护方案对于海量数据的处理、存储与管理能力 •全新升级的多节点并发备份/恢复 •无代理备份 通过全新升级的多节点并发备份/恢复，提升备份数据读写与存储性能，减小备份/恢复时间窗口 通过无代理备份，将AnyBackup Client部署在Hadoop生产集群以外，降低对生产环境影响 •融合部署 •兼容多种Hadoop发行版本 通过“融合部署”，节省服务器使用数量，降低部署成本 采用各平台通用的数据管理与读写接口/工具实现，统一方案应对多种Hadoop商业发行版本 PART03应用场景 典型应用场景一：Hadoop平台本地备份及异地容灾 本地备份、异地容灾防止数据丢失 •通过本地备份，防止人为误操作、病毒感染、设备故障等造成的数据丢失•本地数据可远程复制到异地，实现异地容灾，保障业务连续性 •采用不可变存储、强制数据保留等技术，抵御勒索病毒攻击，防止数据被篡改，保障海量数据安全 典型应用场景二：Hadoop平台灾难恢复管理 典型应用场景三：Hadoop平台数据离线归档 实践场景调研与方案能力推荐 PART04技术原理 HDFS数据保护原理PART4.1 Hive数据保护原理 HBase数据保护原理PART4.3 PART05竞争分析 PART06客户案例 国家医保局 支撑国家医保局两地数据集中监管保护 项目背景 •国家医保局项目涉及数据中心A和数据中心B的本地数据集中备份保护•项目要求将两个数据中心备份系统在同一个管理视图中呈现，统一监控，统一运维•其Hadoop平台使用Hadoop，共6节点，包括2个namenode，4个datanode节点 解决方案 •在A、B数据中心分别部署AnyBackup，一套方案实现核心业务的副本数据灾备及非核心业务的备份方案。（支持国产系统的保护）•部署一套灾备管理平台，可以将不同站点，多套爱数备份系统在同一个管理视图中呈现，统一监控，统一运维•保护对象为HDFS中的腾讯云tdsql实例 方案价值 •全面保护：核心业务支持分钟级数据挂载恢复技术，实现闪电恢复。•完整的灾备服务体系：实现从规划设计到实施部署的全生命周期灾备保障。•降低TCO：以5年为期进行灾备建设，总投入成本减少40%以上，经过重删、压缩后的专用灾备存储，且按需购买，避免在生产系统烟囱式扩展巨量存储等设备 最高人民法院 赋能全国法院系统集中异地灾备 全国http://www.court.gov.cn/ 行业：政府-法院规模：最高人民法院中华人民共和国最高审判机构副国级；省高级人民法院副部级 痛点和需求： •法院业务云迁移后，需要全新灾备系统架构•法律文书和科技法庭产生的海量非结构化数据备份和归档的难题•省级法院很难完成300KM以外灾备中心建设 方案价值 •低TCO：构建全国法院专有灾备云，采用订阅模式，相比传统自建模式投入降低50%以上；•运维简易：解决省地市法院核心系统异地灾备项目建设投资大、运维困难的难题；•分级保护：根据业务需求，根据重要程度分为三级，即小时级、分钟级和妙级保护，实现灾难备份数据分级保护；•海量存储：在不降低功能和性能的前提下，采用全国产化集群架构，保障全国人民法院百PB级业务数据的灾备处理能力。 华峰集团有限公司 浙江省，温州市http://www.huafeng.com/ 行业：制造业–化工 规模：华峰集团创办于1991年，是一家以化工新材料为主业的中国500强企业。 痛点与挑战： 原有灾备平台未完全覆盖集团所有业务和数据，整体灾难恢复能力不足，在数字化快速发展的背景下，数据安全的隐患不断显现，勒索病毒、人为误操作等都可能对企业正常运营、品牌形象等造成巨大影响。 客户获益 •统一灾备建设：基于总部、各生产中心等构建统一灾备，实现4地6中心统一灾备管理；•分级数据保护：针对不同的业务分类和SLA要求，采用不同的技术手段实现最优性价比的保护效果；•灾难恢复管理及演练：通过灾难恢复编排引擎进行自定义恢复流程编排，更高效更经济地提升灾难恢复能力；•灾备可观测：实时监控并科学预测灾备资源情况，并提供备份任务异常分析服务，增强数字化韧性。 THANKS 地址：上海市联航路1188号浦江智谷8号楼2层A座咨询热线：021-5422 2601服务热线：400-880-1569客服邮箱：support@aishu.cn 爱数愿景以数据重塑生产力，共创智能世界Vision：Co-creating a smarter world with smarter data