自主可控的大数据技术，打造数字金融新基建

以自主可控的大数据技术 打造数字金融新基建 主讲人：张硕 网易数帆大数据售前团队负责人 2 网易数帆大数据平台的发展历程 3 网易数帆自主创新的数据平台 4 应用与案例 1 数字金融新基建 CONTENTS 数字化基础软件自主创新分享周 DIGITALSAIL 数字金融新基建 数字化基础软件自主创新分享周 提高新技术应用和自主可控能力 数据能力建设 健全数据治理体系 战略 组织 经营管理 数据 科技 风险 2022年1月，中国银保监会发布《关于银行业保险业数字化转型的指导意见》（以下简称《指导意见》），在坚持回归本源、坚持统筹协调、坚持创新驱动、坚持互利共赢、坚持严守底线的原则下，从战略规划与组织流程建设、业务经营管理数字化、数据能力建设、科技能力建设、风险防范、组织保障和监督管理六个方面提出27条具体措施。科技能力建设中着重提出自主可控的要求。 增强数据管理能力 加强数据质量控制 提高数据应用能力 数字化基础软件自主创新分享周 新型基础设施建设，主要包括5G基站建设、特高压、城际高速铁路和城市轨道交通、新能源汽车充电桩、大数据中心、人工智能、工业互联网七大领域，，是以新发展为理念，以技术创新为驱动，以信息网络为基础，面向高质量发展需要，提供数字转型、智能升级、融合创新等服务的基础设施体系 金融数据基础平台的类型 •Teradata数据平台 •基于apachehadoop或cdh等为代表的大数据平台 •以ORACLE、DB2为代表的数据库平台•以GP、vertica为代表的MPP 数字化基础软件自主创新分享周 需要考虑的问题：自主可控\版本支持\售后服务\信创要求\安全漏洞\成本昂贵 金融数据管理的新要求 安全稳定 维护方便 数据安全和平台稳定是数据基础设置建设的基石 效率提升 数据产出效率，数据开发效率，都需要与开源平台有大幅提升，需要做到敏捷化、高效化 开源大数据平台涉及很多大数据组件，维护困难，对技术人员要求高，希望能够更加及时便捷处理问题 数据管理 数据的规范管理，数据治理等都需要在平台上完成，需要一整套工具才能做到 数字化基础软件自主创新分享周 DIGITALSAIL 网易数帆大数据平台发展历程 数字化基础软件自主创新分享周 网易大数据方案具备自主可控能力 资质完善 支持信创 合作共建 数字化基础软件自主创新分享周 拥抱开源强于开源 300P 存储规模 8000 物理节点 20W 调度任务 2021年6月21日，全球顶级开源组织Apache基金会宣布，网易数帆开源大数据项目以全票通过的表现，正式进入Apach基金会孵化器。 数字化基础软件自主创新分享周 •Spark社区3.0全球个人排名第二（网易数帆姚琴） •ImpalaCommitter，Impalaoniceberg主要贡献 •HadoopCommitter2人 •KuduPMC1人 •SubmarineCommitter1人 •KylinCommitter1人 •《HBase原理与实践》范欣欣 •多个开源项目进行中 DIGITALSAIL 网易自主创新的数据平台 数字化基础软件自主创新分享周 方案涵盖多项能力 数据生产力方法论 六大安全保障 数据底座NDH 全链路数据开发管理产品 数字化基础软件自主创新分享周 网易大数据预期带来的收益 一站式安全管控策略提升平台安全、数据安全 更快更高效 从采集到开发全面提升效率 更加安全 网易原厂服务保障，无后顾之忧 更加高效更有保障 全面提升数据生产力 数字化基础软件自主创新分享周 DIGITALSAIL 应用与案例 数字化基础软件自主创新分享周 实践过程可能遇到的问题 01. 02. 03. 04. 原有的数据平台怎么办？ 原有平台积累了大量的数据和任务该如何处理，能否统一管理 数据迁移如何做？ 如果原有的数据平台的数据、任务需要迁移，如何实现 数据共享如何做？ 使用数据、访问数据的方法有哪些 算法深度集成？ 算法模型的构建如何与数据平台相关联 数字化基础软件自主创新分享周 THANKS 感谢观看