数据分层行动手册：基于价值的数据访问方法

白皮书 数据分层剧本: 基于一个值的方法数据访问 如果您的组织与大多数组织一样，那么您很有可能有更多比你知道如何处理数据。 也有可能您有大量 隐藏、存储在错误位置或只是普通的数据无法访问，几乎没有提供洞察力或价值你的业务。 要从数据中创造最大价值，您必须 创建一个数据的策略。但你在哪里开始? 作为任何迭代数据策略的先决条件，您首先必须了解您拥有哪些数据并确定 对您的业务最重要的是什么—流程称为数据分层。数据分层的核心是 对企业数据进行优先级排序和排名的做法最关键到最不常用—考虑 地理、合规性或格式限制—以及在云数据中对该数据进行适当分类平台orm或存储系统。 您更大的数据访问策略旨在分配各种硬件类别中的数据，可以广泛 在搜索工作中可见，本质上为您提供使用用于路由所有信息的框架。 理想情况下,这个框架也可以生成效率和可持续的数据流程,会帮助你 优化成本,提高投资回报率,最终提取业务价值. 就像一个巨大的春季大扫除项目一样，该行为对大量无组织数据进行排序可以 en是一种恐吓——如果不是压倒性的努力，造成瘫痪，阻止你 迈出第一步。加剧这种瘫痪的是需要管理成本，导致拼凑 造成盲点的点工具和解决方案并阻止组织充分实现其 数据的价值。 为了缓解一些困惑，本文提供了一个开始确定数据优先级的方法 主动性，同时阐明您可以从中实现的价值数据分层。 好处和挑战数据分层 对于许多组织来说，数据分层的做法是变得越来越必要。首先，它创造了 可持续和可管理的方式来理解 所有数据所在的位置，同时为您提供能力迅速从任何地方访问它,当你想要的 它。这种级别的数据访问反过来,生成新的运营效率—提供更好的可视性 您的环境,提高监测和努力创建更清晰的整个数据图片监管合规审计师的格局 为您的企业。 数据分层是开发 全面的数据策略,这就增加了三个主要的组件: 1.组织和优先级数据摄入,根据其业务价值 (用例)。 2.加快促进搜索功能时间来调查。 3.创建一个具有成本效益的存储的方法。 但是让数据分层值得吗?成本优化和捕获更多数据的能力能帮助你: •找到一个具有成本效益的解决方案为每一个数据类型和用例。 •释放已经紧缩的预算来捕捉的剩余数据。 •使其与经济型架构保持一致的规模。 虽然有很多好处,组织(en)遇到阻碍他们抢先的障碍 踏入他们的旅程。一些挑战包括人员短缺和缺乏高级专业人员数据科学与专业知识。 其他挑战包括缺乏时间实施 能够跟上其指数级发展的数据战略上升，以及缺乏整体带宽。因为许多各种规模的组织已经感觉 被他们的数据淹没了，这并不奇怪他们还担心进行大规模的分类 锻炼会要求他们花更多的时间, 没有任何真正清晰度的技术、资源和技能他们会意识到的好处。 其他进入障碍包括预算和资源 由于相互竞争的组织优先级而导致的限制。缺乏资源也可能延伸到 自动化分层功能的技术。附加障碍包括误解源类型和 由于普遍缺乏经验而分类。 也许最重要的原因之一 阻碍了数据分层的努力是成本。对于大多数组织，ITOps被视为成本中心 领导力——必须通过专注来证明其价值在减少开支的方法。当涉及到数据 分层，这可能意味着管理员转向一连串不同的点房子选择数据集的工具 以抵消其他地方的成本。结果碎片化的环境带来了更多挑战当基础架构和IT堆栈如此复杂时 并且脱节，即有凝聚力的数据集成变得几乎不可能实现。 但是，像任何投资一样，将更多的精力投入到以下方面预先确定数据优先级将减轻您的工作量 未来，为您成功做好准备。这是你如何可以采取优先处理数据的第一步，并且组织证明它的价值。 定义你的数据层 将数据调整为值类别非常重要 容量规划方面。我们已经确定了三个基于数据对业务价值的数据分层，以及由使用频率: •层1:高价值的 •层2:中值 •层3:低价值 层1数据被认为是最关键和高吗最常搜索的值数据，以及 触手可及的监控和 进行广泛的调查。虽然它不同 对于每个组织，安全和威胁数据（数据检测和警报事件所需的），以及 使用业务敏感的IT运营数据（数据 帮助您触发必要的工作流程），所有这些都可以可以想象属于这一类。也就是说，有 大量的安全和IT运营数据 不一定属于第1级类别。数据如 作为全保真VPN日志、非关键物联网数据、各种访问模式和资源利用率都可能 更适合较低的层。 层2数据可能包括的信息吗重要的和需要监控,但较少 经常搜索。为低收入补充数据频率相关、法医调查以及 作为会计、人力资源和其他部门应用，训练数据、内部订单处理等 分析数据都可能属于这一类。 层3数据被认为是低价值的业务因为它的使用频率低于其他数据层，但仍需要存储历史或 存档要求。大多数审计和合规性数据属于此类别，其中包括信息 需要保留GDPR，PCI，等法规袜和CCPA。 请记住，数据价值可能因团队而异及其各自的用例，因此将被分层不同。什么可能被认为是第1层到 安全或DevOps团队，可能会被置于第2层或按IT运营或其他部门划分的第3层类别。 为了缓解这些对齐挑战，数据分层 当所有利益相关者时，倡议将最有效与更广泛的数据策略保持一致。 要打破其中一些孤岛，您需要携带 利益相关者共同获得清晰度和透明度关于每个团队和部门正在做什么 以及他们如何看待相关数据的重要性 到他们的工作职能。以下是一些最佳实践请记住: •确定用例他们想要地址和 业务需求驱动他们的任务。 •理解不同数据源:谁拥有 今天他们,他们住的地方,和识别可能涉及的关键利益相关者 受益于明天访问它们。试图真正了解管理员生活中的一天或 分析师和数据对他们意味着什么。 •定期沟通与所有关键利益相关者可能影响或使用相同/相似吗数据集。反之,也理解数据 他们首先优先考虑可能优先级较低的优先级给你。 无论您是在对数据进行分层还是进行协作更全面的战略,没有明显的数据 努力可以单独执行。你会定期需要大量的帮助团队和涉众 随着数据策略的扩展，整个组织和发展。开放的沟通渠道 从一开始就建立信任，创造透明度和维持更愉快的工作环境。 在优先级方面，您需要知道 正在生成哪些数据以及哪些数据在您的组织。太好了，利益相关者不知道 他们的组织中存在哪些数据，如果有，他们不确定谁拥有它或谁可以访问它。为了解决这些关键的知识差距，您可以烘焙在变更控制请求流程中融入您的整体计划时间表。向 正确的利益相关者将有助于减少执行延迟当谈到时间移动数据。 •我怎么访问这个数据? •是谁使用这个数据和为什么它是重要的给他们吗? 接下来，您需要按用途描述数据 （例如，“IT基础架构数据”）、应用程序或资源 类型（例如，“Windows数据”），或按源类型—日志应用程序或系统中的发射器数据（例如 WindowsCPU性能），按主题和数据独一无二形状。这也意味着了解其具体 用例，这将需要提出以下问题： •什么是这个数据到我的重要性组织? •某些功能需要这些数据和工作流? •数据需要什么样的操作？（即，它会被用于调查的目的或需要 要监视吗?) 然后，您可以微调优先级练习更精确地用例数据服务, 其相应的业务需求保持一致。的以下是一些问题你也可以 考虑问: •需要数据的频率是什么? •数据住在哪儿? •我需要多快的数据才能返回搜索？ 实现数据分层•每天，每月，每季度的数量是多少 现在,我们已经定义了数据类别 根据它们对您的业务的有用性或价值， 让我们探讨一下如何实际对数据进行分层。一个成功的数据分层策略一致优先考虑的 业务目标,然后描述用例 以及推动这些目标的数据源。 或年度搜索需求? •我怎么搜索的时候吗? •数据成本多少钱?是什么估计价值与体积比? 若要进一步向下钻取，还需要确定 如果您最紧迫的数据需求与堆栈有关 现代化和架构，或者如果是为了实现更多有权访问更多数据的用户。 为了支持您的决策，您还应该问以下问题: •最频繁访问的是什么源类型? •什么是每日所需数量的搜索在一个给定的源类型? •体积比实际值是什么? •什么工具将相关数据? •这多用或数据地址一次性? 也有很多类别 将数据分层策略设计为 sourcetype,其中一些可能包括: •On-premvs。云迁移友谊:知道你在云之旅 危急。虽然获取数据相对便宜， 如果您想移动它，费用可能会迅速增加云之间和其他环境。优先考虑 哪部分数据可以迁移到云 以最少的努力。此外，虽然它需要很多好处,支持混合或multicloud 战略还可能导致数据孤岛和工具蔓延，你还需要解决,确保满了吗 在您的环境中可见性。 •主要的数据类别:每一块数据用于多种用途，但主要属于少数类别类型之一。选择具有 最常见的使用将有助于更好的一致成本的目的。 •最高使用情况下类别:访问频率指示数据值的级别，以及 您愿意为存储它而产生的成本。理解有些数据经过一个完整的生命周期监控合规随着时间的推移,和 比纯粹的合规数据区别对待。 •区域数据限制:原始的数据在不同的地区,可能会有区域合规要求,如个人 (PII)屏蔽或个人可识别信息数据,需要保持在这些边界。 这些限制可以确保你理解 建立一个路由、存储和搜索架构适合您的业务需求。 •忠诚要求:保真度要求 en与用例的类别,并帮助吗确定类型的数据准备 要求,以及优化的存储和搜索工具是必要的。 •体积减少/数据准备:知道在数据需要转换或准备 任何方式有助于确定相应的数据运动工具,如果有一个。 •数据来源:可能影响的数据源代理和数据收集策略。 作为最后一步，您需要映射您的分类到适当的存储层、体系结构方法、 数据准备和格式设置需求。再次，映射高度取决于您自己的独特数据需求，业务战略和预算。请考虑以下事项 当做出这个判断的问题: •解决方案最佳映射到您的组织的大数据战略? •解决方案减少了许多工具参与这个过程吗? •解决方案的成本会更低? •解决方案将提供长期的成功而不是一个短期的赢了吗? 预先对数据进行分类并不总是那么简单你的价值的过程——在所有阶段 对齐练习，您将需要不断和迭代评估用例、性能和 调查级别。但是一旦你把你的分类数据准确且令您满意，您将拥有为今后的步骤奠定了坚实的基础。 从数据层实现的价值 确定数据的优先级对于重新评估数据至关重要随着数据量的增加，组织的基础架构 在年龄和价值上。因此，重要的是要采取看看你的环境很难确定 优化工作可以更多的什么高效。减少数据的总量 通过分层将释放计算周期，从而降低存储成本,帮助促进更多 准确的搜索。反过来，提高搜索效率， 白皮书 下载数据的重要指南”在这里. 学习更多:www.splunk.com/asksales www.splunk.com Splunk、Splunk>和TurnDataIntoDo是SplunkInc.在美国和其他国家/地区的商标和注册商标。 所有其他品牌名称、产品名称或商标均属于其各自所有者。©2022斯普伦克公司保留所有权利。 22-25319-splunk数据分层剧本wp-103 将创造额外的成本节约，允许您快速解决中断和事件，同时将加速器的审计过程。 作为此评估的一部分，您可能还需要考虑一种治理方法，它将建立最好的 流程、角色、政策、标准和指标将有效和高效地使用您的数据，确保 它在整个组织中的质量和安全性，以及帮助您实现业务目标。这将意味着 确定组织中的谁负责 管理和监视数据分层策略（一些组织有一名首席数据官，他成为 CIO办公室内的实际所有者。他们还将负责确定频率 他们审查战略和他们做出的决策在变更控制过程。 此外，您还需要大力评估 数据库中工具的数量和类型。如前面提到过，组织en诉诸 使用各种零碎的解决方案或存储可能提供一些短期的较低数据层储蓄。但是，管理许多工具 不通信en会导致数据被隐藏， 不容易访问或根本不为人知——所有这些都是可能会对您的业务产生严重且代价高昂的影响从长远来看。您可能会实现哪些成本节约 最初将被需要添加更多内容所掩盖 员工、专业知识和整体可见性，以弥补非集成工具。因此，竞争 价格和