拧紧数据带

VIEWPOINT 2023 拧紧数据带 通过更好地创造价值企业数据记录管理 AUTHORS 大数据时代交付了真正的业务影响各行各业。然而，增加数据收集有缺点；不断增长数据存储卷和计算要求 导致预算和业务限制。 自动生成的日志文件静默驱动器 这种快速、巨大的数据增长。这个观点确定公司如何成功改进 整体日志文件管理，以提供优势通过控制成本、确保合规性和 解锁数据值。 ： 洛根·琼斯马克·罗兰 迈克尔·帕帕佐普洛斯 LokeshDadhich VIEWPOINTARTHURD.LITTLE 隐藏的挑战大数据 大数据时代即将到来。组织 正在通过增长释放其不断增长的力量他们收集的数据量，分析 它具有更高的技术复杂性，并且提取具有真正业务的见解 impacts.Advancedtoolssuchasartificial 智能(AI)和物联网(IoT) 越来越普遍，驾驶 组织收集越来越多的数据 为了实现更好的预测，更多的洞察力，和更优化的操作。根据 技术门户CDOTrends，大约 全球创建了64.1泽字节(ZB)的数据2020年，相当于总存储量 超过2500亿平均个人 计算机。这一数量预计将增长 迅速，到2025年达到175ZB（复合年增长率为23%）。日志文件的上升 这种数据增长的一部分可以归因于 沉默，经常被忽视的来源：日志文件，生成自动由几乎每个连接 计算机、服务器或应用程序（请参见图1）。 图1.日志文件在数据生态系统中的作用 其中的任何组织跟踪信息 IT环境或网站、移动应用程序或系统可能正在生成、存储和 分析日志。在聚合中，日志表示组织的“了望塔”，作为数据 生成提供了使用基础，包括： -通过检测错误和威胁防火墙日志。 -使用分析启用优化的解决方案。 -故障排除和审计系统。 -建立法规遵从性。 什么推动增长？ 三个因素正在生成日志文件中的增长数据卷: 1.数字化。由于生成了日志文件自动地，更大的数字化增加 他们的传播。例如，5G的发展，需要更多的网络设备产生 更多日志。这提供了电信运营商提高效率的机会，减少 延迟，并改善连接性。 摄入 和存储 日志 文件 Maintenance, 治理& 优化 分析 和见解 最终用户 机器,设备和应用程序 来源：ArthurD.Little VIEWPOINTARTHURD.LITTLE 2.业务洞察。数据记录带来对公司具有重大战略价值跨部门，如图2所示。 例如，分析Web上的日志数据 交通帮助公司更好地了解 零售趋势、正常运行时间和用户行为。 3.安全性和合规性。分析 安全解决方案的数据日志可以保护公司免受恶意攻击和 确保法规遵从性。 数据困境 日志量的增长带来了一个两难选择：更多的数据实现新的见解，更好地了解业务 决策和新的创新机会。 然而，这种增长同时导致： -不断上升的存储和计算成本(例如，日志卷增加10%翻译 直接提高10%的存储成本)。 -传统时的运营增长痛苦管理系统达到其预算 和操作限制。 -现有数据治理系统的紧张，这可能会影响对 合规要求。 考虑 整体日志管理 CTO和CIO越来越面临不可避免的数据管理副作用 一种“记录一切”的方法。他们怎么能转变管理实践以增加 效率，同时扩大所获得的价值 从日志数据？亚瑟·D·利特尔（ADL）的经验已经透露，CTO和CIO需要关注 四个关键考虑因素。 MOSTORGANIZATIONSADOPTEDA “LOGE非常重要的事情” 接近，与所有登录和 存储，毫无关系他们的潜力 未来的需求或价值 图2.数据日志的业务用例 食品与农业 食品追踪 物流 供应链 规划 Manufacturing 预测性维护 Data 测井 Healthcare& 生命科学 药物温度 监测 能源与公用事业 负载管理 Financial 服务 欺诈检测 电信 网络操作 航空航天& defense 安全警报 来源：ArthurD.Little VIEWPOINTARTHURD.LITTLE 1.治理是你最大的工具B.分层存储。并非所有日志数据都需要易于访问。而某些数据集 根据大数据时代，收集更多 数据意味着获得更多的价值。默认情况下，这意味着大多数组织都采用了“日志” “一切”的方法，所有日志都被摄取，并且 存储，无论他们未来的潜在需求如何或价值。 因此，日志量增长，影响资源和预算（见图3）。而 切换到不同的日志记录解决方案可以 更低的成本，最强大的(通常被忽视)成本降低工具可用于组织改善了治理， 特别关注成本纪律。四个关键降低成本杠杆可以在任何 日志记录治理框架以减少总数拥有成本(TCO)和改善运营 在不降低数据价值的情况下提高效率： A.预摄取过滤。移除 多余的字段和数据点 自动降低成本。应用程序 团队和用户应该审查他们的需求和决定哪些数据是多余的。执法 这种改进的治理框架必须包括定期审查的要求 日志利用率以识别机会用于预摄取过滤。 图3.日志管理中的数据流 必须随时可用于定期分析，其他数据可能只是偶尔需要。采用分层存储可降低存储成本 通过将未充分利用的数据传输到更便宜的 “冷”存储位置。作为数据的一部分治理过程，再次需要团队 隔离不太可能被查询的数据。 C.摄入前卸载。已识别的数据 因为不太重要或很少访问可以立即放入较冷的存储之前 被摄入，避免了最初的需要放置在更昂贵的热存储中。 D.保留政策优化。保留 策略管理摄取后数据的持续时间 mustbestored.Althoughsometeamsmatch 将保留期限降至最低 需求(“精益”状态)，许多简单采用其日志记录的默认设置 解决方案提供程序。数据存储的时间超过必要的，累积不合理的成本。 优化保留期必须是 周到的过程，以避免删除重要的数据，但它可以显着降低成本当以良好的管理方式实施时。 日志 文件 A B D 日志 文件 摄入前 滤波 日志 路由 摄入 分层 存储 分析 日志 文件 C 卸载 来源：ArthurD.Little VIEWPOINTARTHURD.LITTLE 这些杠杆要求组织建立 更大的治理框架，所有团队采取具体步骤确定机会 用于过滤、卸载或分层，特定于每个日志类型、源和目标。所有应用程序 团队应该使用明确的指导方针来定义哪些数据很重要，并有相关的KPI 以激励减少摄入量和 减少昂贵的“热”存储的使用。 2.供应商选择：战略和信息治理 测井解决方案的前景是巨大的，范围广泛；每个供应商都旨在区分自己和独特的能力，如广泛 能力集、一致的用户支持或 降低成本的创造性存储方法。作为 测井解决方案的使用已经增长，许多组织已委派供应商选择 给各个团队选择最佳解决方案 满足他们的特定需求。然而，随着时间的推移这种方法导致许多组织 购买多个断开连接的日志记录解决方案。最小的企业范围内的许可证协调 管理或供应商谈判代表错过了降低成本的机会， 复杂性。而多供应商战略不是 固有的问题，一个计划外的方法将无法评估功能需求、音量 要求，以及所有团队的用例。 因此，巩固的机会许可证或利用购买力 供应商谈判被忽视。此外，以断开连接为特征的组织团队通常只需要最少的知识 共享。团队开发自己的日志记录解决方案和最佳实践，但不共享他们的知识广泛。回顾每一个 团队运营将发现潜在的例子卓越，在团队之间分享 类似的用例或解决方案需求，并改进整体效率和有效性。 3.探索所有可用的解决方案功能 日志记录解决方案提供商正在迅速添加新的他们寻求与众不同的特征 并为用户提供额外的价值。但是，这些创新仍未得到充分利用或只是许多组织尚未开发，因为它们是 警惕改变他们的运作和使用他们的方式技术。 缺乏功能实验代表 另一个错过的机会，因为团队可能可以访问可以提供的新功能 显著的成本节约或更深入的见解适当的培训和实施。功能 实验在以下方面提供了价值领域: -团队保留现有解决方案 应该做出深思熟虑的努力来测试 当前未用于识别新功能 用例或效率。与供应商合作支持团队可以发现机会 潜在相关的功能和支持 团队可以帮助实现这些功能有效。 -团队探索新的解决方案should超越当前的需求和用例 而不是检查需求将如何 随着数据量和应用程序的增长而变化evolve.Thisplanningwillprovidemajor给希望识别新的团队带来的红利 功能主动，而不是玩追赶。 4.全面了解TCO至关重要 更多组织面临来自以下方面的成本限制不断增加的数据量；详细说明当前TCO是自然的下一步，为 未来降低成本的举措。这些努力 计算总拥有成本是有价值的，但组织经常简单地查看总成本，只关注 关于许可证、计算和存储成本，同时往往忽视其他同样重要的成本。 VIEWPOINTARTHURD.LITTLE 例如，维护和整体更重要的是，削减成本和充分利用- 与基础设施相关的成本包括非 组织总拥有成本的可忽略不计的份额，并且应该在团队中进行详细跟踪，以识别高 表演者相应地分享他们的教训。当 考虑迁移到新的解决方案，构建一个告知商业案例以证明这一举动 与人员相关的详细成本的因素。总体而言，计算和跟踪TCO需要勤奋， 细粒度和多维方法，以确保 所有投资或降低成本的举措都是以稳健、可信的数字为后盾。 皮带拧紧确实不意味着牺牲数据值 过渡到更好的管理，更多的成本- 了解企业范围的日志管理系统并不一定意味着牺牲。而 实施上述步骤将需要 团队最初投入的时间和精力，这些行动将给他们显著的长期财务和运营方面的改进 管理他们的日志环境。 案例研究-为主要组织提供全面的测井策略 A财富100家公司聘请ADL帮助评估其数据记录使用情况和解决方案架构。公司数据的成本 测井解决方案已急剧增加 变得望而却步，尤其是考虑到日志记录要求的预期增加。ADL分析了组织当前使用的 数据记录解决方案。它发现该公司 使用混合软件作为解决方案，私有云和本地解决方案，使其 伐木生态系统极其复杂，孤立，缺乏可观察性。 受治理的系统不会破坏需求 提取更深入的见解或确保合规性 -事实上，改善治理，降低成本，拥抱新功能将带来重大 这些领域的好处。 一个整体的、企业范围的战略可以帮助组织通过以下方式增加长期价值 改善网络安全，支持产品和服务创新，促进运营 效率，并提供对客户的洞察需求和购买行为。智能，集中日志管理使公司能够提高 他们通过解决收集的网络防御，处理和相关挑战。日志 分析提供对重要指标的访问帮助降低风险并启动自动化需要时回应。关于在线的见解用户行为使更大的客户- 中心性；识别和共享现有 知识加速创新和全面竞争力。 在ADL的帮助下，该组织建立了用于日志管理的治理框架 专注于可量化的ROI。建立清晰的规则允许在路由时对日志进行预过滤 非关键日志以便宜的方式存储。同时， ADL回顾了组织的当前和未来要求并进行了提案请求 评估测井解决方案，并开发了一种综合TCO模型和业务案例 为整个组织确定了一个解决方案。 我们使用了完善的伐木治理框架来帮助建立一个内部中心卓越的日志记录和数据平台并继续协助客户 实现中长期战略目标。 收紧数据带6 VIEWPOINTARTHURD.LITTLE Conclusion PRACTICAL步骤 到纪律日志管理 ORGANIZAIONS不能再 DELAY日志管理改进 数据量快速增长，组织可以不再延迟日志管理改进。以 以下四个实际行动，使有意义，迅速改进: 1进行详细的审核团队如何利用 现有数据。开发相关原始日志的映射 文件、利用率和保留路径，以揭示成本- 减少机会。 2查看现有的日志记录解决方案和文件当前用例和未来需求。确定 许可证合并的机会。 3定义优秀测井中心的标准并安排定期的知识共享会议 和类似的学习机会，使卓越传染性。 4模型和轨道TCO通过编目所有现有的，跨团队的相关成本。确定潜在的节省 来自正在考虑的新解决方案供应商通过将他们的成本结构纳入现有的摄取和存储模型。 收紧数据带7 自那时以来，ArthurD.Little一