为中国数字化未来解锁 数据编织解决方案

数据编织解决方案 为中国数字化未来解锁 Denodo平台的逻辑数据管理功能如何为中国现代企业提供支持 作者：Denodo（丹诺德）2024年10月 白皮书 ©2023DenodoTechnologies ©2024DenodoTechnologies 2 摘要 中国将不断发展的数据产业与更广泛的数字化转型相结合，在云计算、AI和电商等领域取得快速发展。中国数字化转型的快速步伐导致企业内部数据激增。 随着中国企业越来越依赖数据来推动创新和决策，企业在管理、集成和利用各种数据源方面面临前所未有的挑战。虽然许多公司已实施数据仓库和数据湖，但数据源的复杂性（结构化、半结构化和非结构化）仍在不断增长。本白皮书介绍数据管理领导者Denodo对98家中国企业的调研结果，并展示Denodo平台的逻辑数据管理功能如何通过提供无缝的数据集成、治理和敏捷性来应对这些挑战。 Denodo平台通过实现对统一数据的实时访问、支持明智的决策以及为未来的数字化转型铺平道路来赋能企业。本白皮书将探讨Denodo平台如何帮助中国企业减少数据孤岛、提高运营效率并获得竞争优势。 中国走在数字化转型的前沿 2023年，中国产生了32ZB的数据，走在了数字化转型浪潮的前沿。得益于这一蓬勃发展的经济增长，中国数据驱动型企业的数量在过去十年中从11万家激增至100多万家。据中国信息通信研究院报告，截至去年底，中国有效AI发明专利数量已达37.8万件，同比增长率超过40%，是全球平均水平的1.4倍。 中国数字化转型的快速步伐导致企业内部数据激增。2023年，中国数据库行业市场规模超过520亿人民币（72.8亿美元），预计到2028年将达到930.3亿元人民币。 与此同时，类似欧洲GDPR的中国《个人信息保护法》（PIPL）等法规保护着中国居民的个人数据。适用于处理此类数据的任何组织，无论是中国境内还是境外。该法律赋予数据主体访问、删除和限制个人数据使用等权利，同时要求数据处理者出于合法目的处理信息并尽量减少其使用。强制实施强大的安全措施、定期评估和审计,不遵守规定可能导致最高5000万元人民币 （约770万美元）或年收入5%的罚款。 这样的法规加剧了中国数据管理领域面临的关键问题：需要整合不同数据源。当企业力求最大限度发挥数据价值时，即面临着多重挑战，包括分散的系统、复杂的数据环境以及日益增长的合规性要求（如PIPL）。 根据Denodo的调研，虽然65%的企业已经实施了数据仓库或数据湖，但数据环境碎片化仍然很普遍，这使得数据管理成为一个关键痛点。 中国企业使用的主要数据来源 企业有哪些类型的数据源 本地数据库/数据仓库/数据湖 ERP/CRM/MES等应用系统 文件文档云端数据库/数据仓库/数据湖 Web与Apps数据流数据（如IoT终端与传感器数据） SaaS 65% 57% 51% 49% 33% 29% 18% 来源：Denodo调研。N=98 《管理与社会科学学术期刊》发表的研究也证实这一点，该研究称中国企业面临着数据获取、数据处理、数据应用、数据安全和隐私保护等诸多问题。 具体来说，提到的挑战包括： ■企业需要从多个渠道获取数据，需要清理和整理数据供后续分析和应用。中国企业在数据获取方面存在数据质量低、数据孤岛等问题。 ■数据处理方面，数据存储成本高、数据处理速度慢、数据分析能力差。 ■缺乏有效的数据分析模型，缺乏合适的数据应用场景，数据应用能力不足。 ■数据泄露和被盗的风险 Denodo的逻辑数据管理方法无需复制即可集成数据，为这些挑战提供了可扩展的解决方案。此外，随着生成式AI(GenAI)的普及，Denodo通过提供实时数据基础来确保始终提供准确、受治理的数据，从而使企业能够更有效地利用AI。 逻辑数据管理优势 Denodo是数据管理领域的领导者。屡获殊荣的Denodo平台是领先的逻辑数据管理平台，能够以业务语言和业务速度为整个组织所有数据相关计划提供数据。Denodo的客户遍布全球30多个行业的企业，实现了超过400%的投资回报率和数千万元乃至亿级收益，在不到六个月的时间内就收回了投资成本。 Denodo的逻辑数据管理改变了数据集成和访问的范式。传统的基于ETL的方法涉及将数据从各种来源移动或复制到集中式存储库，带来延迟、复杂性和成本。相比之下，Denodo创建了一个虚拟层，允许实时访问数据，无论数据位于何处——云端、本地还是跨混合系统。这种方法可以加快决策速度、简化治理并降低运营成本。 Denodo数据编织的RoI(投资回报率) 数据交付时间减少 �相比�ET%L的 �数�据准%备 时间减少 数相千比ET万L的元 成本节省 ���% 3年投资回报率 扫码下载《Forrester：利用Denodo推进数据虚拟化所产生的总体经济影响》 核心优势 高级语义层 实时数据交付 集成主动数据目录 广泛连接能力 基于属控性制的访问 自动化云管理 现代化AP数I层据服务 Denodo逻辑数据管理的主要优势包括： ■跨所有数据源的实时访问：企业可以即时查询数据，确保始终可以获得最新见解。 ■统一治理与合规性：单一访问层允许一致的策略执行，对于面临严格监管的行业（如金融、医疗保健和制造业）至关重要。 ■降低成本和复杂性：通过消除对物理数据移动的需求，Denodo平台降低了基础设施成本，加快价值实现时间。 Denodo调研中确定的关键挑战 对98家中国企业的调查突出了Denodo平台解决的几个关键数据管理挑战： 分散的数据源 超过55%的企业管理来自三个或更多来源的数据，46%的企业有集成分散数据源的需求。65%的企业已经实施了数据湖和数据仓库。许多企业依赖与现代云平台不兼容的遗留系统，使得实现统一的数据环境具有挑战性。 中国企业数据管理痛点与需求 哪些场景符合企业近期数据管理情况 有集成多种分散数据源数据、数据管理、面向业 正在规划搭建数据中台/数据仓库/数据湖/数据 务场景快速交付数据的需求 46% 44% 已有多个数据仓库与数据湖，但数据集准备周期 湖仓的数字化项目 有访问全球各地分散数据、规避多国合规性风 和ETL方式效率低，准备升级改造 30% 23% 已建数据管理平台，因业务需求考虑迁移（数据 险的需求 产品迁移、本地向云端迁移、云服务商切换等） 以上都没有 19% 16% 来源：Denodo调研。N=98 我们将其称为“分布式数据问题”。其他调查也表明，企业每天可能使用数百个数据源。企业数据量每月增长60%到100%。如今，许多企业都在分布式计算框架内运作，其中数据和操作分布在各种本地系统、多个云平台和边缘设备上。在如此复杂设置中，定位和管理数据变得越来越具有挑战性，更不用说为分析、数据科学和机器学习提供数据了。上述结果中值得注意的是，尽管很大一部分受访者已经实施了数据湖和数据仓库，这些挑战仍然存在。 Denodo平台创建了一个统一层，集成来自各种环境的结构化、半结构化和非结构化数据，而无需物理移动数据。这使企业能够跨云和本地环境访问数据，从而提高一致性并实现实时可用。该平台与商业技术和开源技术协同工作的灵活性，对于管理多样化IT环境的中国公司来说尤为重要。 非结构化数据使用量不断增长 调研显示，51%的企业认为文档、电子邮件和多媒体等非结构化数据对其运营至关重要。然而，传统的数据仓库和数据湖难以有效处理非结构化数据，导致处理和分析非结构化数据时出现瓶颈。 Denodo平台将结构化数据和非结构化数据整合到一个统一的系统中，使企业能够实时访问和分析所有类型的数据。这使公司能够从以前未开发的数据源中提取有价值的见解，从而提高决策和运营效率。 缺乏集中式的制造平台 尽管中国企业在数字化转型许多领域都取得了进展，但66%的企业仍然缺乏MES（制造执行系统）和SCM（供应链管理）等关键制造平台。这导致运营系统和业务系统之间的数据流脱节，阻碍了推动工业4.0计划的努力。 中国企业使用的主要业务软件 企业使用哪些系统软件 协作工具和平台（OA） 企业资源规划系统（ERP）客户关系管理系统（CRM）人力资源管理系统（HRMS） 商务智能系统（BI）/大数据平台系统 财务管理系统制造执行系统（MES） 63% 62% 60% 52% 49% 48% 36% 供应链管理系统（SCM） 35% 来源：Denodo调研。N=98 通过整合来自制造、供应链和业务运营中不同系统的数据，Denodo平台提供了统一的视图，帮助企业提高效率和创新。这种无缝集成支持实时监控、分析和优化制造流程，从而支持工业4.0目标。 合规性和治理问题 如上所述，遵守数据隐私法规（例如中国《数据安全法》和《个人信息保护法》（PIPL）对许多企业来说都是一项重大挑战。调查显示，23%的企业担心合规性要求导致的数据分散。 Denodo平台还使组织能够直接从同一层定义和实施全面的访问控制（报告、审计和其他可操作的风险和合规性管理活动），利用业务定义的相同结构和格式的数据。通过将数据治理和合规性嵌入到向业务提供数据的同一虚拟逻辑层中，公司可以在不牺牲敏捷性和竞争力的情况下实现合规性，并管理所有数据源和孤岛的风险。Denodo平台还提供： 集中控制：通过从单一控制点访问和管理所有数据源，利益相关者可以在所有数据源中实施数据隐私、数据治理和安全策略，而无需在每个单独的数据源中实施策略，这既耗时又容易出错。 实时跟踪：通过实时访问数据，Denodo平台支持实时警报和持续更新的使用情况报告。管理员可以设置阈值以触发自动操作或立即响应违反PIPL等法规的行为。 综合监管报告：通过统一对不同数据源的访问，Denodo平台可以为所有利益相关者和外部监管机构提供综合报告，包括财务报告；环境、社会和治理(ESG)报告；可持续性报告；以及数据隐私合规性报告。此类报告可以包括数据沿袭和使用情况跟踪，一直追溯到原始源系统，以提供额外的合规性支持。这使中国组织能够快速轻松地证明遵守PIPL政策。 基于角色和属性的访问控制：可以根据用户角色以及用户属性（例如组织、物理位置、项目代码和其他参数）定义访问策略。例如，在家工作或出差的员工可能没有与在办公室或安全网络上相同的访问级别。 全局策略：Denodo平台支持基于语义层内的视图或列属性定义全局策略，从而实现对数据访问的精确控制。这包括用于屏蔽、加密和数据限制的语义安全策略，以更有效地遵守安全分类和业务要求。 利用GenAI进行创新 中国在AI领域的领导地位正在加速各行各业采用GenAI技术。根据Denodo的调查，来自百度、阿里巴巴和豆包(TikTok)等提供商的ChatGPT和其他大型语言模型(LLM)正在获得显著的关注。为了有效利用AI的力量，企业需要实时访问高质量、值得信赖的数据。 中国企业使用的主要大模型LLM 目前AI应用与哪些大模型已有或计划有合作 ChatGPT文心一言通义千问 34% 32% 23% 智谱AI 不了解讯飞星火 KimiClaude豆包大模型百川智能 商汤SenseNova Bard曹植AI自研 电信星辰大模型腾讯大模型 17% 17% 16% 13% 11% 10% 9% 7% 6% 5% 2% 1% 1% 来源：Denodo调研。N=98 Denodo平台非常适合支持AI计划，因为它可以在不同的系统之间提供实时数据集成。借助统一的虚拟数据层，Denodo平台使AI模型能够无延迟地访问所需的数据，从而获得更准确、更可操作的洞察。 Denodo的GenAI价值主张 ■AI模型的统一实时数据访问：Denodo平台为AI应用程序提供单一、安全的访问点，以实时查询和分析企业数据，从而使AI模型始终使用最新、最相关的信息。 ■丰富的语义层：该平台通过提供丰富的语义层来增强AI功能，将技术数据转换为业务友好的术语，从而提高AI驱动洞察的质量和相关性。 ■简化的AI应用程序数据集成：Denod