用数据创造价值 以智能激发增长-数据科学基础平台白皮书

用数据创造价值以智能激发增长 数据科学基础平台白皮书 目录 IDC观点01 政企数字化转型进入纵深阶段，数据科学加速数字化能力进阶01 基于数据科学的全流程能力演变和生态协同是数据智能发展进步的必然趋势01 构建数据科学基础平台体系，推动一体化数据智能研究与实践01 第一章 数据科学驱动行业数字化进阶，打造政企核心竞争力02 1.1政企数字化转型进入纵深阶段02 1.2打造为政企全面赋能的数据智能核心03 1.3以数据科学加速政企数字化能力进阶04 第二章 行业数据/信息转型现状与演变趋势06 2.1需求侧-行业数据应用持续向深度和广度延伸06 2.2供应侧‒基于数据科学的能力演变和生态协同10 第三章 构建数据科学基础平台体系，推动一体化数据智能实践12 3.1建设一体化的治理平台底座，打造高质量数据资产13 3.2兼容高速演进的先进工具，提供高效洞察与决策支撑13 3.3促进应用生态繁荣发展，与行业实现深度融合14 3.4形成可持续迭代的数据技术框架，综合提升全流程响应能力15 3.5小结：以数据科学基础平台体系应对数字化转型多维度难题17 第四章 IDC建议：政企机构数据智能全流程实践关键举措19 4.1将数据科学能力纳入未来发展战略19 4.2规避单点方案和开源技术的成本陷阱，选用可持续迭代的全栈能力平台19 4.3明确数据价值转化流程，集结跨领域人才团队，激发应用创新活力20 4.4量化跟踪数据驱动决策和业务的收益21 4.5以全面数据价值转化为目标，寻求敏捷高效的技术路径21 第五章 行业实践：百分点科技的数据科学平台22 5.1数据科学基础平台的愿景和价值主张22 5.2数据科学基础平台的含义和创新24 5.3平台应用实践26 第六章 未来展望32 6.1机遇与挑战32 6.2未来展望33 结语35 IDC观点 政企数字化转型进入纵深阶段，数据科学加速数字化能力进阶 在数字经济持续高速增长的大背景下，一大批政企机构开始进入数字化转型的纵深阶段，努力实现由数据/信息驱动的全面业务整合和创新。IDC认为，各机构应全面提升数据科学理论水平，深度掌握数据应用技术、产品、方案和交付方法，围绕更大范围、更高效率、更快响应和更深融合四个维度目标，构建完善的数据价值转化全流程能力体系。即以数据科学为指导建立涵盖“治理平台+分析工具+应用运营”全栈能力的数据智能核心，打通“感知-数据-信息-知识/洞察-决策-行动/应用-再感知”的价值链条，形成内部认知能力和外部生态应变能力的闭环。 基于数据科学的全流程能力演变和生态协同是数据智能发展进步的必然趋势 基于数据科学的全流程效能提升，将围绕能力演变、架构演变和生态发展等维度深入展开。其中，能力体系将趋向全栈化，构建“倒三角”形态的全栈支撑体系，包括以强调“统一治理”的平台化能力逐步消除数据孤岛，以趋向智能化的工具能力为业务端提供可灵活定制的洞察和决策服务，以高效的运营能力开发/部署与业务场景深度融合的数据应用；架构体系则力求持续迈向云原生化和全栈智能化。此外，各厂商也将围绕数据价值转化周期推动专业化分工，建立生态协同机制，创新商业模式，与政企用户实现共赢。 构建数据科学基础平台体系，推动一体化数据智能研究与实践 各政企机构有必要构建一个拥有数据全流程能力的重要载体，即一个一体化的数据科学基础平台体系，通过广泛、开放的数据协同，为各业务方提供端到端的完备数据智能体验。要通过全栈化能力体系下的治理平台、分析工具和智能应用建设，以及整体技术架构的转型升级，构建端到端的一体化解决方案，与行业发展实现深度融合，形成可持续迭代的技术框架，强化关键环节技术能力，有效解决各机构的战略、组织、流程以及成本投入方面的诸多问题。 01 第一章 数据科学驱动行业数字化进阶，打造政企核心竞争力 1.1政企数字化转型进入纵深阶段 近年来，数字经济持续高速增长。IDC数据显示，到2022年，全球65%的GDP将由数字化推动；2022年到2023年，数字化转型的直接投资将超过6.8万亿美元。IDC中国企业数字化转型成熟度研究显示，一大批企业已经进入到数字化转型的纵深阶段，即利用集成管理数字化推动常态化运营管理，利用规模数字化实现企业优化创新。 图1中国企业数字化转型成熟度2019vs2021 20192021 1 单点试验 孕育启动数字化 局部推广 2 使能扩大数字化 扩展复制 3 协调复制数字化 运营管理 4 集成管理数字化 优化创新 5 转型范围 少数部门⸺所有部门 创新速度 试点试验⸺倍增创新 技术应用 孤立技术⸺融合技术 价值体现 效率体验⸺集团管控、产品服务、商业模式、社会责任 实现规模数字化 推广，复制，集成，创新 降本，优化，升级治理整合，赋能创新 来源：IDC，2022 数字化转型涵盖三个基本组成：基础设施转型、业务应用转型、数据/信息转型。其中，业务应用转型为主动性项目，由运营目标驱动；基础设施转型为被动性项目，由成本驱动，是支撑业务应用创新和数据资产优化的底座；而数据/信息转型则兼有主动性和被动性特征。对于进入数字化转型的较高阶段(第4和第5阶段)的组织来说，进一步推进数字化能力的关键在于实现由数据/信息驱动的全面业务整合和创新。 数据/信息转型的被动性：随着政企数字化转型的深入，日趋活跃的创新型业务引发了数据的爆发式增长，例如数字化原生企业在运营过程中通过全流程数字化体系产生的大量交易数据、用户数据、经营数据和业务运行监测数据，以及传统行业在大力推进物联网、工业互联网、智能制造过程中新增的传感器监测数据、数字化生产过程数据、产品运行数据等。政企组织必须正视不断增加的数据管理难度⸺包括安全、合规、存储成本、调用性能等。 数据/信息转型的主动性：政企运行数据蕴含巨大的价值，承载丰富的业务属性，是保障组织动态发展的血液。对于已具备足够的数字化基础，并进入转型更高阶段的政企机构来说，明确的数据战略必不可少。管理者需要着眼于“data-driven-everything”即“全面数据赋能”，将数据战略与整体发展战略、组织、业务、技术、运营管理等多领域加强关联，以数据价值转化技术推动组织业务的全方位进步，以构建精细化的业务洞察能力和高效精准的决策能力，大幅提升组织运营的自动化和协同化水平，创造出与行业知识、行业实践融合创新的更多可能。 1.2打造为政企全面赋能的数据智能核心 IDC认为，涵盖治理平台+分析工具+应用运营全栈能力的数据智能核心，是打通“感知-数据-信息-知识/洞察-决策-行动/应用-再感知”的价值链条并形成左右互联闭环的关键。 决策 数据DATA 应用运营 分析工具治理平台 感知 数据DATA INTERNAL PROCESSES 企业数据 EXTERNAL 内部认知能力 智能核心 PROCESSES 生态应变能力 行动/应用 知识/洞察 INSIGHTS 图2IDC企业数据智能研究模型 ACTIONS 来源：IDC，2022 数据智能核心涵盖以下三个层面的能力： 以强调“统一治理”的平台能力，逐步消除数据孤岛，按照业务需求对数据进行主题化以及场景化建模，形成高质量、易调用的数据资产，实现“感知-数据-信息”的转化； 以趋向智能化的工具能力，为业务端用户提供可灵活定制的洞察和决策服务，提升团队效率和创新能力，实现“信息-知识/洞察”的转化； 以高效的运营能力，开发/部署与业务场景深度融合的数据应用，建立趋向数字原生化的业务体系，实现“知识/洞察-决策-行动/应用-再感知”的转化。 数据科学是融合了数学、统计学、计算机科学、人工智能等多个领域的交叉学科，旨在研究如何从数据中发现规律，丰富认知，挖掘价值； 数据科学的研究范围涵盖了数据智能核心的全部三个能力层面，有效贯通“感知-数据-信息 -知识/洞察-决策-行动/应用-再感知”的闭环价值转化链条： 数据治理能力包含数据标注、数据清洗、数据整合、数据目录等，是数据科学的基石； 数据分析能力包含描述性分析、预测性分析、诊断性分析、规范性分析等，是数据科学的内核； 数据应用能力包含嵌入式应用、驱动式应用等，是数据科学的服务性呈现。 强化数据智能核心的目的，是持续提升数据价值转化能力，而与数据价值转化全流程有关的理念、目标、方法论和实践过程，共同构成了数据科学的研究框架： 1.3以数据科学加速政企数字化能力进阶 随着数字经济的蓬勃发展，政企现有的数字化业务手段将逐渐在竞争中失去差异性。从面向未来发展的视角看，各类机构的数据智能能力将成为其数据/信息转型的重中之重，也是其实现可持续发展的关键竞争力。而强化数据智能核心的关键举措，是遵循数据科学理论，围绕更大范围、更高效率、更快响应和更深融合四个目标维度，持续提升数据价值转化能力。 更大范围：整合更多有效数据源，支持更多业务场景，部署更多创新型应用。 根据IDCGlobalDataSphere（专门记录全球数据增长的产品）显示，2020年全球创造了59ZB （Zettabyte，泽字节。1ZB=1万亿GB）的数据；2025年，全球新产生数据量将高达180ZB，数据已经无处不在。 更高效率：借助更高级的数据挖掘手段，实现自适应/自学习的价值传递闭环。 更快响应：采用更先进的架构，在“感知‒数据‒信息‒知识/洞察‒决策‒行动/应用‒再感知”价值转化周期中实现流程化、管道化、规模化。 更深融合：与领域知识不断融合，重新定义技能和业务边界，不断发现创新场景。 良好的数据智能核心可赋予政企自我优化和自我进化的能力优势，帮助政企更加清晰地洞察内外部形势，不断完善知识体系，高效协同供应链生态，在激烈的市场竞争环境中保持活力和韧性。 02 第二章 行业数据/信息转型现状与演变趋势 在当前全社会广泛拥抱大数据的时代背景下，围绕数据科学领域的技术进步与业务创新活动异常活跃，各类政企对全面提升数据理论水平，深度掌握数据应用技术、产品、方案和交付方法都有十分强烈的诉求： 全方位提升数据应用能力：重点关注数据资源的一体化管理和敏捷化使用，建立统一的数据开放与全时空服务体系，持续实现数据实践领域的能力沉淀。在此基础上，各机构期望能够加强组织与人才建设，统筹数据治理与运营过程，合理配置资源，在保证安全合规的前提下，加速数据价值的挖掘与创新。 长期、稳定地服务全量用户：政企希望在控制总体投入规模的前提下，通过合理地规划设计，建立统一、稳定、可持续迭代的数据服务平台，不断沉淀数据资产，为自身开发、测试、交付、运营以及各类型客户、生态、社会公众等提供广域、多维的数据服务，通过数据应用创新实现充分的内、外部协同。 深化数据智能与业务的融合：政企在深化数据智能的过程中，不断汲取行业发展经验，赋予数据以更深的业务属性，将大数据和人工智能领域的最新发展成果引入业务创新的过程中。通过长期地迭代与提升，形成稳定的智能化洞察与决策能力，全方位提升综合竞争能力。 2.1需求侧-行业数据应用持续向深度和广度延伸 政企力求利用数据破除条线壁垒，依托统一的数据资源体系构建面向全域业务的一体化数据服务能力。在这个过程中，政企需要持续深化数据智能的应用能力与范围，将更多的监测、洞察和决策需求通过智能化过程加以实现。随着数据智能的进一步推广，围绕数据价值挖掘与释放过程的专业化分工趋势也将越来越显著，更多的深度治理和算法创新工作有望全面生态化，由更加专业化的团体通过分工与协作完成。 各行业在利用数据赋能业务发展的过程中，普遍经历从单点技术、孤立场景向一体化、融合化迈进的必由路径。IDC的一项调查显示，伴随数据应用的逐渐深入，政企机构普遍遇到多个维度的棘手问题。 战略与愿景：方法论缺失，对数据价值的认知不到位。深化数据应用的过程与政企数字化转型战略、组织建设、技术发展以及人才培育等因素息息相关，需要通过科学的方法指引，建立体系化的目标和发展路径。许多政企机构缺乏对数据价值的深入认知，也没有建立体系化的发展路径和方法论，数据应用仅停