以战略目标为导向，实现数据现代化

联合出品数合据总战体略商和业数战据略，现或代过化于规狭划隘不地符专业价注值于付人诸工东智流能。，会导致大量商 以实战现略数目据标现为代导化向， 2《麻省理工科技评论》洞察 前言 “以战略目标为导向，实现数据现代化”是由Thoughtworks赞助出品的麻省理工科技评论洞察报告。为了撰写本报告，麻省理工科技评论洞察对各个国家/地区各行业的企业高管开展了一次全球性调查。此外，本报告还参考了对数据战略和数据现代化专家进行的深度访谈。 本报告作者是DenisMcCauley，编辑是TeresaElsey，制作人是NicolaCrepaldi。本报告中的研究内容具有编辑独立性，所表达的观点仅代表麻省理工科技评论洞察的立场。 在此，感谢下列企业高管抽出宝贵时间与我们分享其真知灼见： HeathBland，埃克森美孚上游数据办公室经理JamesMorgan，英国皇家财产局首席数据官 ConradPozsgai，Payback公司总经理、首席信息官兼首席运营官DaniloSato，Thoughtworks数据与人工智能事业部全球技术主管JohnSpens，Thoughtworks北美地区数据与人工智能事业部总经理 关于此次调查 麻省理工科技评论洞察于2024年1月至2月开展此次调查，为编制本报告奠定了基础。此次调查样本包括350名资深数据和技术主管。 受访者分别任职于美国、英国、德国、新加坡和澳大利亚的企业，样本涵盖了以下八个行业：金融服务、能源、医疗保健和生命科学、制造、公共部门、出版和媒体、零售以及旅游和运输。所有受访者均就职于年收入5亿美元或以上的企业，近一半 （47%）就职于年收入100亿美元或以上的企业。 引言 如今，数据日益成为企业成功的关键。一些领先的数字企业能够及时做出明智决策，为客户提供量身定制的体验，并快速发现新机遇，从而脱颖而出。最近，随着人工智能的关注度突飞猛进，对数据的需求也与日俱增。 无论企业希望实现什么目标，如果无法随时获得高质量数据，就不可能取得成功。尽管科技在不断发展，但对于大多数企业而言，获取企业数据并将其转化为可用资产仍是一项巨大的挑战。 虽然提高数据质量和实现有效治理等诸多挑战存在了几十年，但本报告表明，当今的技术领军人物正在探索克服这些挑战的新方法。单靠新技术可能无法解决问题，不过技术型企业可以借助基于云的、现代化的数据和分析解决方案，采用现代化数据工程实践、打造产品导向型团队并实施更全面的数据管理方法。本报告的调查结果揭示了为何数据管理者们必须跳出现有系统的范围，采用各种流程、实践和思维方式来帮助其企业以可重复、可扩展的方式解决长期存在的数据挑战。 Thoughtworks拥有丰富的数据现代化经验，熟悉各种曾引发软件工程变革的现代工程实践（例如数据即产品，构建演进式架构，采用CI/CD和DataOps等实践，发展团队和治理结构），深知如何充分利用这些实践并将其应用于数据标准，从而帮助企业在数据方面做好充分准备，并长期保持这种状态。 有了上述各要素，无论治理要求和数据需求如何变化，企业都始终能快速从数据中获取大量价值。 随着人工智能的发展，越来越多的企业将数据现代化作为核心要务，因此愈加重要的是确保数据战略与更广泛的商业战略紧密结合，同时确保数据管理者们能够清晰阐述各种数据和分析技术可以如何帮助企业业务部门实现其目标。这不仅可以保证数据现代化的变革获得关键的支持，还可以让企业为实现其目标做出更充足的准备，为持续改进、发展和创造价值奠定坚实的基础。 KalyanasisBanerjee Thoughtworks数据与人工智能事业部全球主管 录 目 1.执行摘要5 2.数据愿景7 数据战略的制定7 数据战略与业务战略不一致的问题8 3.数据现代化的目标10 实现数据现代化所面临的障碍11 为企业带来的各种好处13 不成熟的数据能力14 4.质量管理17 数据质量和时效性改进18 组织结构和数据团队19 5.结论21 数 据现代化已明确列入很多企业的议程。我们对350名资深数据和技术高管进行了调查，有一半以上的受访者表示，他们所在的企业 在过去两年中已经实施或正在实施数据现代化项目。此外，有四分之一的企业计划在未来两年内实施此类 以下是主要研究结果： •人工智能并不是企业推进数据现代化的唯一原因。 实现更明智的决策是数据现代化的首要目标，近一半 （46%）的高管将此列为三大驱动因素之一。支持人工智能模型（40%）和脱碳（38%）也是推进数据现 1 项目。其他研究也一致表明 资产现代化的投资力度。 ，企业纷纷加大了对数据 代化的主要驱动因素，此外其他驱动因素还包括增强监管合规性（33%）和提高运营效率（32%）。 01执行摘要 无独有偶，随着人们对提升数据能力的关注度激增，他们对人工智能（特别是生成式人工智能）的兴趣也愈发浓厚。实际上，为开发人工智能模型提供支持是本次受访企业致力于实施数据能力现代化改革的首要原因之一。不过，人工智能并非改革的唯一原因，甚至不是主要原因。 本报告旨在阐述企业数据现代化项目的目标，以及相关举措的实施方式。为此，本报告对各行业的资深数据和技术高管展开了调查。研究发现，许多企业在数据现代化方面进行了大量投资，并取得了实质性进展。然而，在许多企业中，数据战略与数据现代化目标似乎还远未达成统一，导致企业的数据和技术团队与其他部门之间出现脱节。数据和技术高管及其团队还可以开展更多工作，了解同事们的数据需求，并就如何满足这些需求积极征求他们的意见。 •数据战略往往与商业战略脱节。几乎所有受访企业都认识到了数据战略的重要性。仅有22%的企业表示，他们缺乏完善的数据战略。然而，当被问及他们的数据战略是否完全契合关键商业目标时，只有39%的企业给出了肯定的回答。数据团队还可以采取更多措施，让其他业务部门和职能部门参与战略讨论：42%的受访企业表示，他们的数据战略完全由数据或技术团队制定。 •数据战略为数据现代化铺平道路。在过去两年中开始进行数据现代化的大多数企业（71%）在此之前早已制定好数据战略，这可能并非巧合。数据现代化目标的实现离不开业务的支持，实施决策需要战略指导，以免增加复杂性或重复工作。 •数据方面的最大痛点是数据质量和时效性。高管们指出，数据不达标（41%）和交付不及时（33%）是其数据运营中最需要改进的方面。数据不完整或不准确会导致企业用户质疑数据的可信度。这就解释了为什么在过去两年中，受访企业最普遍采取的数据现代化措施是加强数据治理（45%）。 •跨职能团队和DataOps（数据运维）是提高数据质量的关键手段。许多企业正在落实现代化数据工程实践。近一半（48%）的企业授权跨职能数据团队执行数据质量标准，47%的企业将实施DataOps作为重点工作。这些实践与已经成为软件工程领域标准的敏捷方法和产品思维不谋而合，但它们在数据领域才刚刚崭露头角。 •合规性和安全性问题往往会阻碍数据现代化进程。合规性和安全性问题是数据现代化面临的主要障碍，各有44%的受访企业提到这两大问题。能源、公共部门、运输和金融服务等领域的受访企业尤其经常提到监管合规性问题。高成本是受访企业经常提及的另一个障碍（40%），尤其是在受访的小型企业中。 许据多工企程业实正践在。落这实些现实代践化与已准的经敏成捷为方软法件和工产程品领思域维标 不现谋出而价合值，。并在数据领域展 在 过去十年中，企业纷纷采用人工智能，这也加强了企业对其数据的重视。毕竟，如果没有足够的数据，人工智能模型几乎无法产生 价值，而如果数据质量不高，还可能会造成危害。 最近，随着生成式人工智能模型的兴起和广泛应用，企业进一步认识到数据的巨大潜力，特别是他们可能会在其内部数据、非结构化数据或其他被忽视的数据中发现独特价值。这也揭示了在数据基础尚不成熟的情况下，抓住这些机会向前迈进所面临的诸多困难。 然而，要让管理层相信这些数据就是战略性资产，不应依赖面向企业的人工智能。早在人工智能成为高效商业工具之前，从风险管理到需求预测等许多关键的企业运营工作都要仰仗扎实的数据基础。 数据战略的制定 目前，企业普遍认识到了数据的重要性，因此大多数企业都制定了完善的数据战略。在此次调查中，只有约五分之一（22%）的高管表示他们所在的企业没有这样的战略。 然而，这是最近才出现的情况。只有27%的受访高管表示，他们所在企业的数据战略已实施了两年以上 （见图1）。 在此次调查中，小型企业（年收入在5亿美元到99亿美元之间）比大型企业（年收入在100亿美元或以上）更有可能缺乏数据战略，而且已实施数据战略两年以上的可能性要小得多。这是不同规模的企业在应对措施方面出现的多种差异之一。这些差异表明，企业规模和资源在数据战略和数据现代化方面具有重要影响。 02数据愿景 “业数务据目战标略挂应钩满，足否技则术将和无技法能给需企求业，带但来更真应正与的企价业值的。总”体 DaniloSato，Thoughtworks数据与人工智能事业部全球技术主管 图1：大多数企业都已制定数据战略，但这是最近几年才出现的情况 以下哪项陈述适用于您所在企业的数据战略？ 我们尚未制定完善的数据战略我们已制定成熟的战略，并实施了两年以上时间 总计 总计 2224%2274% 1254%% 2284% 4244%2124% 大型企业小型企业 来源：麻省理工科技评论洞察调查，2024年 英国皇家财产局首席数据官JamesMorgan表示：“每个企业都需要数据战略。愿景固然重要，但如果无法确定如何达到目标，那么有愿景也毫无意义。”Mor-gan的团队根据数据战略制定了一项实施计划：“我们不可能面面俱到，因为业务重点和需求会发生变化，但必须制定一项战略实施计划。” Thoughtworks北美公司数据和人工智能事业部总经理JohnSpens认为，“如果没有利用数据解决企业问题的统一方法，那么数据团队将永远处于被动状态。大型企业的各个业务部门拥有可观的预算，如果缺乏战略，就会导致重复工作和产生不必要的复杂性。”他还指出：“正因为如此，许多公司发现自己在多个云平台上运营，但这并不是根据深思熟虑的战略决定的，而是因为各部门的云方案的供应商不同” 大型企业小型企业 数据战略与业务战略不一致的问题 大多数受访企业都制定了数据战略，但相当一部分企业并没有在企业层面落实完全统一的数据战略（见图2）。在40%的受访企业中，各业务部门都有自己的数据战略，但这并不一定意味着缺乏统一性。例如，能源供应商埃克森美孚上游数据办公室经理HeathBland表示，“虽然业务线数据战略可能是在企业、业务能力和业务线/资产层面制定的，但都由中央数据办公室进行协调。这种方法可以确保不同的战略相互补充、相辅相成，我们认为这是最大限度发挥数据价值的关键。” 相当一部分（39%）的受访高管表示，他们的数据战略与业务战略目标完全一致。然而，对于大多数尚未实现这种一致性的企业，这可能会带来高昂的代价。Thoughtworks数据与人工智能事业部全球技术主管DaniloSato表示，“这种不一致会导致企业无法发挥数据战略的价值。数据战略当然应满足技术和技能需 图2：数据战略尚未达成统一 以下哪项陈述适用于您所在企业的数据战略？ 我们的数据战略与业务战略目标完全一致 各业务部门有自己的数据战略 数据战略完全由数据或技术团队制定，其他业务部门的参与程度极低 36%39% 42% 4�% 39% 41% 42% 36% 48% 我们的数据战略与人工智能战略密切相关 28% 1�%总计 43% 来源：麻省理工科技评论洞察调查，2024年 求，但更应与企业的总体商业目标挂钩，否则将无法实现企业真正需要的价值。” 造成这种明显缺乏一致性的一个原因是，数据战略往往完全由数据团队或IT部门制定，企业其他部门的参与度极低。有42%的受访者表示，他们所在的企业正存在这一问题。 首席数据官（在某些情况下是首席信息