数据中的 5 大挑战（以及您需要采取哪些措施）

五大挑战 数据和您所需要的关于他们 我们深入数据时代没有回头路可走。国际数据公司(IDC)研究估计,总额的数据创建、捕获 全球复制和使用将增长到180多个 字节到2025年,从2020年的大约64.2字节。 如果您的组织仍然对动态趋势感到困惑 以及由于不断增长的云原生应用程序而导致的扩展问题，云基础架构和本地数据库位于 边缘—知道它将继续比你的增长更快组织可以跟上-然后你专注于错误 挑战。不要与趋势作斗争，让它们为您服务。 数据量和速度将继续存在，这意味着能够利用其数据的力量的组织 180.37% 提取业务价值正在赢得这场比赛。增加的字节 的数据 数据中的5大挑战以及您需要采取哪些措施|Splunk2 但这意味着不仅仅是采用新的云服务进行存储，为特定领域的分析创建拼凑的点解决方案， 甚至确保额外的预算。制定成熟的数据策略对于这个新世界，需要一个全面的平台，允许组织在 时间需要它，无论数据位于何处，无论来源或格式如何。虽然采用复杂的新架构和工作流程可能听起来 就像一项昂贵且势不可挡的事业一样，它不一定是正确的数据方法和视角。 数据分层是任何现代数据策略的关键方面。它需要组织要仔细研究正在生成的数据， 然后根据使用频率和速度确定优先级 它需要被访问，以及它正在推动哪些业务成果— 所有的意图来存储成本效益。 在本指南中，您将了解大数据中的五大挑战为什么数据分层是最好的出路。 数据中的5大挑战以及您需要采取哪些措施|Splunk3 01 广泛的数据格式 复杂的业务洞察力 大数据世界充满了多种数据格式的复杂性。固有的 这种数据多样性是一个通信挑战-如果数据无法与之通信或使用其他数据，然后它失去了功效，使业务洞察力复杂化。 一方面，有非结构化、半结构化和结构化的光谱。 数据集以及每个数据集中的各种标准格式。与结构化数据不同，结构化数据由于其预定的模式，非结构化数据而限制使用模式 提供搜索灵活性，但需要专业知识来管理它，以及专业可以即时理解它的工具。与大约80%的企业数据 定义为非结构化，组织需要准备好解决这个问题。 还有格式良好与格式不佳的数据的问题。在每种格式中 组织面临的挑战将是对每个定制产品的所有组合进行分类。可能具有自己的非标准日志记录格式的应用程序。 除了在大数据的收集、分析和存储方面存在差异外，最终目标是提取业务价值，进而做出数据驱动的决策，推动 业务向前发展。 除了的之间的差距 收集、分析和存储的大数据,最终目标是提取反过来,业务价值和 数据驱动的决策,推动业务向前发展。 数据中的5大挑战以及您需要采取哪些措施|Splunk4 那么，从任何格式的大数据中最大化价值的最佳机会是什么？优先考虑的数据集成框架——知道数据是可用的 在您的组织中，它的位置、年龄以及如何解决痛点或加速机会（即用例）是任何现代的基础 数据策略。除此之外，集成框架将指导您的 在数据处理方面的投资，允许您考虑平台ORM和有助于使不同数据格式具有业务意义的解决方案。 要开始你的框架，你需要一个可以容纳的平台orm所有类型的架构，用于规范化数据形状并加快 调查。您还希望它具有足够的可扩展性来使用数据来自多个来源，与最新功能和支持集成 非组织性数据预计将增长 55-65% 他们的治理模型。较上年同期 数据中的5大挑战以及您需要采取哪些措施|Splunk5 02 数据仓库预防 分布式数据访问 当成熟的组织拥有本地、多云或混合时 在基础设施中，数据孤岛的范围几乎与数据本身一样多变。数据孤岛在组织中有机地出现，似乎与增长同步，作为一个 各种因素的副产品，包括老化（遗留）基础设施，合并和收购、分散式技术和工具管理，或一般 团队和部门之间的沟通。 只有40%的组织拥有全面的数据聚合，29%的组织拥有全面的数据聚合假设部分或所有业务线将自己的数据分开或隐藏， 根据数据创新报告的状态. 一些工具和孤岛很好地迎合了通过类似工具访问的高度结构化数据模式，而其他模式更适合随机的非结构化数据 访问模式，特别是随着数据格式的不断发展。但是这个工具蔓延—具有多个脱节数据存储—模糊了对 数据沿袭、转换和整体形状，尤其是跨数据湖和仓库，使得统一数据访问极其困难。对于组织， 跨数据孤岛满足独特的区域业务需求仍然是一个挑战，根据安全性和合规性法规，情况更加复杂。 只有40%的组织全面的数据聚合, ,29%的人说,部分或全部业务保持他们自己的数据单独的或隐藏,据 数据创新报告的状态。 数据中的5大挑战以及您需要采取哪些措施|Splunk6 容纳众多不同单点解决方案的环境也增加了问题，因为它们需要防止数据共享的孤岛 团队。为了解决这些问题，组织需要找到分解的方法 这些墙使不同的团队可以在没有多次提取的情况下获得收益，转换和加载（ETL）步骤或不同工具之间的上下文切换， 数据存储和来源。 只有当数据可以访问并用于生成见解和 行动。无需担心消除数据孤岛—让数据随处可见 确实如此。相反，请优先处理从所有孤岛收集数据的工作，方法是依靠在可以帮助弥合鸿沟的整合数据平台ORM上。 只有29% 的组织都有一个分类系统, 定义最重要/数据 数据中的5大挑战以及您需要采取哪些措施|Splunk7 03 数据质量差的叶子在全球范围内,组织 价值在桌子上支出超过 开箱即用的数据通常是不干净和嘈杂的—它可能是多余的，原始，缺少或解释不清的上下文，暴露个人身份 信息（PII），并包含其他不一致或无效值—所有如果无人值守，则会减损质量分析。毫不奇怪，研究从Trifacta建议60%的IT专业人员花费一半或更多在数据质量保证、清理或准备方面的工作时间。 4500亿美元 在数据准备 质量数据优先考虑其准备并通过转换形成，聚合和丰富，使您能够提出更好的问题，以及开发有意义的分析和见解。如果数据是 不必要的大量或不可读性。因此，清洁和预格式化无论来源或位置如何，数据对于降低成本和确保为用户数据的有效性。 最终，组织需要一种集中的方式来将数据路由到和从他们使用的各种数据存储，同时保持一致性，以防止不匹配并减少数据传输的间接费用。 数据中的5大挑战以及您需要采取哪些措施|Splunk8 04 数据相关性变化 随着年龄的增长和价值 底线：并非所有数据都是平等创建的。默认情况下，通常会处理所有数据同样至关重要的是，分配给最昂贵的存储层和 强大的分析层。但是您的组织正在大量投入资金 如果以相同的方式处理所有数据，则会失去有价值的见解。 重新考虑数据相关性的一种方法是分解两个变量：年龄 数据以及数据在其生存期内的最大效用。与美酒不同，数据 不会随着年龄的增长而好转。事实上，数据的价值很快就会下降。创建。更重要的是，并非所有数据价值都以相同的速度下降。 捕获、分析和处理信息的速度越快，就越快业务价值;然而弗雷斯特估计60%到73%之间组织中生成的数据仍未用于分析。的时间值 数据并不意味着组织需要收集更多数据。相反，他们需要根据数据作为“主导者”的角色来平衡数据的效用支持调查或分析，或取证的“配角” 或合规。 考虑数据的年龄和效用使组织能够实现 成本、性能和功能集的适当平衡-所有这些都允许使用情况下,没有打破银行。 弗雷斯特估计,之间 60%到73%的所有数据生成在组织中仍未使用的 分析。 数据中的5大挑战以及您需要采取哪些措施|Splunk9 05 刚性成本结构排水比较的增长 它和安全预算 大多数组织在处理大型时产生的最大费用之一数据是关联分析数据库的成本。这些数据库 通常与计算和存储成本的上升成比例地扩展。如组织引入了拼凑的单点解决方案来弥补差距 在数据库功能方面，成本膨胀，而生产力下降。 Gartner预计2022年SOF软件支出将增长9.8%，达到6749亿美元 IT服务增长6.8%，达到1.3万亿美元的多数 分配给安全和分析的组织预算。然而，很多点工具定价模型没有考虑到这种不平衡。 云解决方案提供商（CSP）提供了包含弹性的答案跨多个服务的可替代单元定价，但许多工具仍然提供妨碍或完全阻止客户利用 规模经济。 还为客户提供这些定价模型优势的数据平台或 使他们能够创建可以基于计算灵活调整的数据策略和工作负载。 数据量对边际增加预算, 180%和9。8% 插图作为一种不平衡。 数据中的5大挑战以及您需要采取哪些措施|Splunk10 数据时代的现实证实了数据是最有价值的以及当今组织可用的战略资产。它还显示 就像一个活的有机体一样，数据是一个不断发展的实体，经久不衰成长的烦恼,因为它到期。 您可以花费时间和资源进行清洁，转换， 以及使数据可用;或者您可以投资一个数据平台可以在摄取期间调整数据并读取以自动查找 交易、趋势和模式。一个有凝聚力的数据架构将 需要一个多方面、与价值一致的数据分层战略，该战略依赖于在强大的分析在每一个可搜索的水平。 在Splunk，我们相信数据分层是管理所有数据的最佳方式大数据的复杂性，以便您提取业务价值。 探索Splunk的数据分层方法研究以了解更多信息关于如何实现连接点的框架。 了解更多 Splunk、Splunk>和TurnDataIntoDo是SplunkInc.在美国的商标和注册商标，并且 其他国家。所有其他品牌名称、产品名称或商标均属于其各自所有者。©2022斯普伦克公司保留所有权利。 22-25319-Splunk-数据中的5大挑战以及您需要做些什么-LS-106