Gartner的研究 数据和分析的基本角色是什么? 约根·海森堡、扫罗·犹大、艾伦·邓肯16八月2022 数据和分析的基本角色是什么? 已发布16八月2022-IDG00774299-17阅读分钟 分析师:JorgenHeizenberg、SaulJudah、AlanD.DuncanInitiatives:首席数据和分析官领导力 首席数据和分析官需要以适当的能力支持当今数字业务的机遇和挑战。现在是时候创建适合未来的数据和分析角色和技能了。 战略规划设想 到2023年,机器学习(ML)工程师将成为人工智能(AI)/ML领域增长最快的角色,ML工程师的空缺职位是数据科学家的一半(50%),高于2019年的不到10%。 到2023年,由于人工智能和新兴技术减少了获取障碍,残疾人就业人数将增加两倍。 到2023年,所有为人工智能开发和培训工作雇用的人员都必须展示负责任地开发人工智能的专业知识。 分析 如果没有以数据和分析(D&A)为核心的数字平台,数字业务就不会发生(请参阅如何构建数字业务技术平台)。如果处理不当,技术可能是一个失败点,但它通常不是进步的最大障碍。数字业务的加速将同样(如果不是更多的话)取决于你如何组织D&A以及推动这一转型所需的角色、技能和文化。 数据素养差、缺乏数据驱动文化和人才短缺是D&A成功的普遍和持续阻碍因素(参见如何克服D&A领导者成功的6大障碍)。与Gartner2022年首席数据官议程调查的其他发现一致,1人员、培训和文化应该是CDO的首要考虑因素,以提高D&A团队在利益相关者参与、影响和文化变革方面的效率(见图1) 。 图1:关注人员、培训和文化,促进利益相关者的参与、影响和文化变革 一些组织考虑与外部D&A服务提供商合作,因为他们缺乏合适的资源或无法开发或改善其当前的人才库 。这样的提供者可以通过暂时填补D&A角色不足和/或提高或重新培训现有资源来支持组织。 提供商在执行这些任务时应特别关注知识转移和在职培训(请参阅数据和分析服务提供商魔力象限)。支持数字业务所需转型的首席数据和分析官(CDAO)需要回答以下问题: ■d和a的关键角色关注是什么呢? ■哪些角色正在出现,这些新角色如何影响当前角色? 图2和以下各节提供了相关指导。图2:新兴的d和a的角色 研究突出了 某些推荐内容可能无法作为您当前Gartner订阅的一部分提供。 二维角色专注于现在 本节重点介绍D&A今天所包含的角色: ■配角:CDAO,D&A经理,D&A架构师,业务分析师,D&A项目经理,变更和转型经理,D&A测试人员 ■数据角色:数据工程师、数据管理员、主数据管理(MDM)经理、数据建模师 ■分析角色:分析和商业智能(ABI)开发人员、数据科学家、AI/ML开发人员、分析管理员 配角 数据和分析总监 “首席数据和分析官”(CDAO)是指企业领导角色,主要负责通过组织的D&A资产和D&A生态系统创造价值。此角色的等效头衔是首席数据官、首席分析官(如果CDAO角色或同等角色不在企业中)、数据和分析主管/主管以及其他变体。 请参阅工具:首席数据和分析官的职位描述示例。 d和a经理 D&A经理负责管理D&A卓越中心,因此需要支持在整个组织其他部门部署D&A。D&A经理是D&A战略和愿景的关键贡献者。他们制定路线图,管理高级利益相关者,并监督预算和资源。除了衡量团队的绩效外,他们还应该监控和跟踪D&A对业务目标的贡献。 了解如何克服D&A领导者成功的6大障碍。 d和a的建筑师 数据和分析架构师可增强业务信息的影响,并提供有关业务信息的建议。D&A架构师需要识别、定义和分析信息资产如何推动业务成果,以便在整个公司内共享一致的数据。D&A架构师“拥有”数据模型。 D&A架构师了解各种D&A场景(如数据科学或机器学习)对整体企业架构的影响。他们与企业架构师合作制定D&A架构策略和支持平台。 业务分析师 没有单一类型的业务分析师,而是一系列分析师。他们的角色取决于D&A用例,因交互而异,并引入了不同的职责和技能要求。例如: ■数据分析师对统计分析有基本的了解,并使用这些技能来支持特定的业务领域。他们要么是领域专家,要么与这些专家密切合作,将见解应用于业务流程或功能。 ■数据翻译人员、数据教练或促进者不仅弥合了数据科学家/数据工程师与业务领域之间的技术差距 ,而且还有助于推动整个组织的采用和素养。这些角色对业务流程和相关D&A需求有很好的理解 ,并将其转化为D&A解决方案。他们需要将技术理解与领域知识相结合,并具有与不同受众合作进行创新的天赋。 请参阅工具:数据和分析翻译人员的职位描述。 d和a项目经理 D&A项目经理负责D&A投资组合中所有项目的成功。项目经理根据业务优先级,在预算和范围内按时计划、执行和交付所有项目。在每个项目的整个生命周期中,项目经理跟踪项目状态并管理项目团队以减轻问题和风险。项目经理是D&A计划的主要联系人,并利用可用资源管理客户需求。 改变和转换经理 变革和转型经理通过制定鼓励员工采用新的D&A工作方式的战略来推动组织成果和业务成果。变革和转型经理需要高级业务领导者(如CDAO)的支持,以促进员工行为的改变,并实现更加数据驱动的文化。他们通过教育帮助培养新技能,并通过在人员、任务和工具之间建立正确的契合度来帮助建立数据素养。 d和a测试仪 D&A测试人员负责管理与D&A相关的风险(例如,操作风险或隐私)。他们通过根据业务用户要求(用户验收测试)和IT要求(系统集成测试)测试数据产品(如数据管道和数据质量)和分析产品(如报告和仪表板)来管理风险。 数据的角色 数据工程师 数据工程是向各种数据使用者(包括数据科学家、数据和业务分析师、公民集成商和业务线用户)提供适当数据的做法。这是一门涉及业务和IT部门之间协作的学科。这一关键学科需要熟练的数据工程师来支持IT和业务团队。 数据工程师主要负责构建、管理和操作数据管道,以支持关键的D&A用例。他们还主要负责领导繁琐(通常很复杂)的任务: 1.策划由非技术用户(例如,通过自助式数据准备工具)、数据科学家甚至IT资源创建的数据集和数据管道 2.为生产级部署实施数据交付 最后,它们支持将分析和数据科学输出部署到现有业务流程和应用程序中的关键任务。 数据工程师还保证符合数据治理和数据安全要求。它们是任务关键型的,因为他们知道从哪里开始处理数据以及哪些管道以业务为中心。因此,他们需要与业务部门协作,并对组织进行数据工程方面的教育,确保用户可以自己进行一些数据工程。数据工程师需要精通多种技术和业务技能,包括: ■使用不同的数据集 ■解析和理解数据 ■与领域专家、数据科学家和分析师合作构建业务问题 ■跨多个环境快速调配集成数据 数据工程师还应该具有协作性,并充当“数据专家”,以帮助企业将分析和数据科学模型输出集成到业务流程中并解释结果。这种需求催生了一部分被称为“分析工程师”的数据工程师。 分析工程师 分析工程师类似于数据工程师,但专注于不同的管道。传统的数据工程师专注于开发从企业运营/事务源到企业数据存储库的数据管道。相比之下,分析工程师专注于主要为AI/ML模型和数据科学团队开发数据管道 。分析工程师准备数据管道,用于创建用于分析目的的数据集,包括供最终用户导入桌面工具的数据集和供BI开发人员导入到ABI工具的数据集。除了区域和本地数据源之外,分析工程师还使用企业数据存储库的“特选”区域作为这些类型的数据产品的源。 如果没有数据工程师,D&A计划将更容易产生额外的成本、部署延迟以及数据集成、质量和可用性问题。了解如何构建可提供出色消费者体验的数据工程实践。 数据管理员 由于数据管家广泛分布在整个组织中(沿着部门/职能线或业务流程线),因此迫切需要协调管理活动以实现一致性和杠杆作用。首席数据专员通过建立管理其他监管员如何的流程来推动这种协调: ■执行其政策执行的活动 ■他们的行为向同龄人交流 ■将问题和提案上报给信息治理委员会 首席数据管家还帮助监管员群体解释董事会制定的政策,目的是在政策制定中建立清晰度和质量。此外 ,此角色还充当信息治理委员会中同行和初级监管员的代表。 数据管理员角色侧重于执行D&A治理委员会创建的D&A治理策略。实际上,监管员负责实施D&A治理策略,并根据这些策略监控信息资产和人员。当检测到与策略的偏差,并且无法通过自动化方式解决时,监管员是解决问题的焦点。 请参阅案例研究:业务必须推动数据管理(Ovintiv)。 MDM经理 由于范围、复杂性、结构以及集中化和本地化程度的差异很大,企业在组织MDM的方式上有所不同。但是,一些基本的组织原则可以描述为取得更大成功的最佳实践。其中包括: ■高管赞助推动真相的共享版本 ■支持企业范围的信息治理,以创建和实施信息管理策略 MDM经理确保影响MDM计划的组织和业务方向更改由中央团队或在业务部门、职能区域或地理位置内进行评估和采取行动。MDM经理的职责包括: ■定义一个MDM愿景陈述 ■使MDM计划每个阶段的范围与企业信息管理(EIM)策略保持一致 ■确定他们为其开发业务案例的MDM计划的每个阶段的业务场景 ■确定将受MDM计划影响的关键业务流程 MDM管理器与IT部门合作进行架构、数据建模、集成、应用程序开发、数据质量技术、系统管理、安全和报告。 看到现代MDM理解。 数据建模师 数据建模用于描述对企业很重要的信息类型。数据建模者创建用户认可的数据模型,与“拥有”数据模型的D&A架构师合作,并开发业务数据词汇表和本体。他们这样做是为了支持数据质量、数据隐私和安全性、数据沿袭和集成、数据治理、运行时模型和数据库模式——所有这些都是为了在企业范围内就数据的含义达成共识。数据建模者根据需要咨询来自多个部门和用户群的多个主题专家,以一致性和协调性对业务需求进行建模。 分析角色 分析和商业智能开发人员 ABI开发人员与业务合作伙伴保持牢固的关系,以便为分析和商业智能活动提供分析和技术支持。他们开发报告、仪表板和交互式可视化,并使用数据仓库、数据集成和数据建模来支持业务决策,利用数据获得对商机的关键见解。开发人员构建公司的ABI功能,同时确保分发和交付高质量的分析解决方案和BI报告。 数据科学家 数据科学家负责使用定量学科(统计、算法和挖掘)和可视化技术对复杂的业务问题进行建模并发现业务见解。数据科学家通常拥有计算机科学、统计学、经济学或相关领域的高级学位。数据科学家为构建和开发组织的数据基础架构做出贡献,并为组织提供决策过程的见解和分析。数据科学家经常预测(预测分析)或对情况进行分类,并开发下一步最佳行动模型(规范性分析)。 数据科学家角色可以有不同的排列,例如,首席数据科学家和公民数据科学家。首席数据科学家 首席数据科学家的角色越来越重要。首席数据科学家与首席数据和分析官合作。也就是说,一个角色不会取代另一个角色。对于处理人工智能日益复杂和普遍性的组织来说,专注于数据科学的独立角色几乎已成为强制性的。 请参阅首席数据科学家的角色是发展高级分析和AI的关键。公民数据科学家 公民数据科学家通常是业务用户,他们没有接受过数据科学家的正式培训,但仍可以执行各种数据科学 任务,并由用于数据准备、数据发现以及模型开发和部署的增强分析工具提供支持。公民数据科学家有能力扩展他们的分析专业知识,并运用他们的商业头脑来获得高级见解,与经常在D&A卓越中心工作的首席数据科学家密切合作。 请参阅工具:数据科学家角色的职位描述。 人工智能/机器学习开发人员 AI/ML开发人员越来越多地负责通过机器学习或其他AI功能(例如自然语言处理、图像识别或优化)来丰富各种应用程序。他们应该能够嵌入、集成和部署以下任一AI模型: ■由数据科学家或其他人工智能专家 ■提供的云计算和其他服务提供者 ■使用机器学习增强自主研发 此外,AI/ML开发人员应该能够收集和准备数据作为模型训练和执行的输入,无论是自己还是与数据工程