在 Google Cloud Platform 上部署 Splunk Enterprise

在本文档中，我们提供了部署和配置建议，包括对 Google Cloud Platform 虚拟机的引用、性能注意事项（涵盖有关 Google Cloud Platform 功能的公共信息）。本文档中有关于部署组件、性能注意事项、部署指南、基于 Splunk 验证架构的示例以及使用 SmartStore 的指南的部分。我们还提供以Google为中心的Splunk产品列表的参考，以帮助您的客户更好地与Google Cloud Platform和Google服务集成。这些建议适用于在虚拟机上运行 Splunk 自带许可证 （BYOL） 作为中间步骤的 Splunk 客户在他们的云之旅中，并迁移到 Google Cloud Platform 上的 Splunk Cloud。Splunk的企业Splunk®企业提供领先的平台将数据转化为行动。Splunk软件搜索，监控、分析和可视化来自网站、应用程序、服务器、网络、传感器和移动设备的机器生成的大数据。超过 18，000 家组织使用 Splunk 来加深业务和客户理解、降低网络安全风险、提高服务性能并降低成本。Splunk Enterprise 可实时索引机器数据，使整个组织中的多个角色（从系统管理员到业务分析师）能够快速从环境生成的大量机器数据中获得洞察。采用云战略可提高敏捷性、降低成本、缩短上市时间并推动创新。Splunk Enterprise 非常适合在云环境中部署，提供企业级可用性和可扩展性，支持每天从驻留在本地、云中或混合环境中的工作负载收集数百 TB 的数据。本文档介绍了在 Google Cloud Platform 上部署 Splunk Enterprise 的指南。部署组件Splunk部署组件典型的 Splunk 部署包括以下组件：Splunk 转发器、索引器和搜索头。虽然所有主要的 Splunk 组件都可以从单个实例上的单个安装运行，但它们也可以从不同的实例中独立运行。这使 Splunk Enterprise 能够通过支持额外工作负载的其他索引器和搜索头进行水平扩展。Splunk 软件可在几分钟内安装到您选择的硬件（物理、云或虚拟）和操作系统中。该软件包可供大多数操作系统下载。根据部署基础结构，必须为每个组件类型分配适当数量的资源。代理在 Splunk 企业版实例与索引器、其他转发器或第三方系统之间传输数据。大多数转发器都是资源利用率最低的轻量级实例，允许它们轻松地驻留在生成数据。索引器将数据写入存储设备并对数据执行搜索。索引器可能占用大量资源，需要足够的 I/O 和 CPU 分配。搜索头处理搜索管理功能，将搜索请求定向到一组索引器，然后将结果合并回用户。搜索头需要足够的 CPU 和内存分配。为了启用搜索和索引性能，必须根据要编制索引的数据总量和随时的活动并发搜索（计划或其他）数来预算系统资源和带宽。除了将数据快速写入磁盘外，索引器还执行运行搜索所涉及的大部分工作，包括读取数据从磁盘上解压缩，提取知识并技术简单在 Google Cloud Platform 上部署 Splunk Enterprise 技术简单在谷歌云部署Splunk企业平台2报告。由于索引器承担了大部分工作负荷，因此索引量的增加应与索引器实例的增加同时发生。横向扩展到其他索引器将分配增加的数据量的负载，从而减少搜索期间的资源争用并加快搜索性能。常见的 Google Cloud Platform 部署利用转发器和网络流的组合将数据发送到 Splunk 索引器。虽然转发器不需要从源收集数据，但它们确实提供了某些好处，例如灵活性、负载平衡和可靠性。使用来自数据源或文件挂载的系统日志输出也是将数据导入 Splunk 索引器的常见形式。此外，模块化输入，这是扩展到 Splunk Enterprise 定义自定义数据输入，HTTP 事件收集器 （HEC） 是一种用于将大量数据直接发送到 Splunk 平台的高效且安全的机制，可用于从各种 API 源收集数据。其他 Splunk 组件包括部署服务器（使用用于配置发布）、许可证主节点（用于许可证管理）和主节点（管理索引复制）— 我们将在下面统称为管理服务器。性能考虑在Google Cloud Platform上部署Splunk软件时，需要考虑几个性能因素。最重要的注意事项围绕实例（计算）和存储类型。有关配置的更多信息，请参阅 Splunk 容量规划手册。计算对于 Splunk 部署，我们建议使用具有最低虚拟机实例要求（对应于 n2-standard-8）的常规计算实例：8vCPU 和 16GB RAM。Splunk非常适合Google Cloud Platform，因为它可以水平扩展，添加Splunk实例可以根据数据量要求为您提供更好的性能和容量。存储Splunk 建议使用根永久磁盘来存储 Splunk 配置、操作系统和索引数据。对于群集部署，本地 SSD 是一种替代方法。以下是永久磁盘 （PD） 和非永久性本地 SSD 的主要特征。 永久磁盘 （PD） 具有高可用性、可靠性和持久性，每个磁盘可以增长到 64TB，每个 VM 总共最多可以增加 257TB。Google Cloud Platform 上有两种类型的持久存储：标准硬盘 （PD-HDD） 和固态 （PD-SDD）。PD-SDD更适合暖数据和热数据，PD-HDD更适合冷数据。本地 SSD 附加到托管 VM 实例的服务器，每个实例限制为 9TB。本地 SSD 具有比 PD-HDD 和 PD-SSD 更高的吞吐量和更低的延迟，但不是持久性的。此外，为了在本地 SSD 上实现全部性能，您需要考虑具有更多 vCPU 的配置。例如，对于 9TB，至少需要 24 个 vCPU 内核。在规划索引的存储要求时，请考虑 Splunk 软件将压缩数据。典型安装在存储原始数据以及关联的索引和元数据时会体验到有效的 2：1 压缩比。这意味着，如果您每天索引 100GB，则预计每日利用率约为 50GB。本地存储卷的数量和大小应基于保留要求和预期的每日索引卷。我们还建议使用 Splunk SmartStore 选项来优化您的成本 — 请参阅部署指南和“在 Google Cloud Platform 上使用 Splunk SmartStore”，了解更多的细节。 技术简单在谷歌云部署Splunk企业平台3SH / IDX{一个或多个独立的实例}收集层DS代理网络输入其他投入部署指南和示例下表描述了将实例映射到 Splunk 工作负载的一般准则。在引用这些准则时，仍应考虑架构和大小调整的最佳做法。重要的是要记住，整个 Splunk 负载由索引和搜索组成。适用于所有配置我们建议将 N2-standard-8 或 N2- standard-16 视为基准 VM，但请考虑将其分别更新为 N2-highCPU-8/16，以防发现 CPU 资源不足。请使用这些配置作为部署的起点，并考虑根据组织的性能需求和其他要求将这些 VM 更改为不同的 SKU。本简报介绍了 Splunk 部署的各种选项。请参考到 Splunk 验证架构了解更多信息。实例类型数据量n2-standard-16多达100 Gbn2-standard-32100 - 250 Gb表1:索引器实例类型并发用户n2-standard-16100n2-standard-32100年到250年表2:搜索部署服务器对于部署服务器，可以使用 n2-standard-8 作为默认值，并使用 n2-standard-16 以获得更好的性能。对于存储，您可以使用 PD-HDD 作为最具成本效益的存储选项。这些配置可用作基准。在现实环境中，有许多因素会影响性能，应考虑这些因素选择“VM SKU”时。请参阅此 Splunk Enterprise 容量规划简介和本指南，了解并发用户和搜索如何影响性能。您将在下面找到三种类型的配置，建议作为基线配置。请参考 Splunk 验证架构 了解更多选项;我们还在简报中使用了本文档中 Splunk 验证架构 （SVA） 的参考名称。股东价值分析小规模部署(S1)此拓扑通常用于较小的非业务关键型用例（通常是部门性质的）。适当的用例包括数据载入测试环境、小型 DevOps 用例、应用程序测试和集成环境以及其他类似场景。此拓扑的主要优点包括易于管理、针对较小数据量的良好搜索性能以及固定的总拥有成本。根据需要，多个独立的单实例部署可以由单个管理层进行管理。在此配置中，我们有一个 VM，它同时是搜索头和索引器。如果您的环境满足以下所有条件，则此配置为您提供了非常经济高效的解决方案：•您不需要为 Splunk 部署提供高可用性或自动灾难恢复。•日常数据摄取下~ 300 gb /天。•您有少数用户具有非关键搜索用例。搜索/索引层管理 技术简单在谷歌云部署Splunk企业平台4上海{一个或多个独立的上海根据容量或高端应用需求}DS索引层LMMC索引器集群收集层厘米代理网络输入其他投入索引/搜索头•VM SKU: 1 x n2-standard-16•存储:本地SSD管理:部署服务器•VM SKU: 1 x n2-standard-8•储存:PD-SSD从体系结构上讲，这是一个执行索引和搜索的单个 Splunk 实例。数据可以通过Splunk转发器，本地文件，远程系统，系统日志，HTTP事件收集器，模块化输入等发送到该系统。可用存储的总大小应基于保留要求和预期的每日索引量。使用 Splunk SmartStore 可以帮助您优化存储选项的成本。股东价值分析中等规模的分布式部署(C1)此拓扑将索引器群集与适当配置的数据复制策略相结合。这在索引器对等节点发生故障时提供了高数据可用性。但是，您应该知道，这仅适用于索引层，不能防止搜索头失败。出于可用性和容量原因，可以使用多个独立的搜索头，或运行 Splunk 高级版应用解决方案（如 ES），但建议的扩展搜索容量方法是采用搜索头群集。此拓扑需要一个名为群集管理器 （CM） 的附加 Splunk 组件。CM 负责协调和实施配置的数据复制策略。CM 还充当可用群集对等方（索引器）的权威源。通过配置 CM 而不是单个搜索对等体来简化搜索头配置。可以选择配置转发层，以通过 CM 发现可用的索引器。这简化了转发层的管理。请注意，数据以不确定的方式在群集内复制。您将无法控制每个事件的请求副本的存储位置。此外，虽然可扩展性是线性的，但是关于总集群大小的限制（理想条件下的 ~50 PB 可搜索数据）。Splunk 建议部署监控控制台（MC） 来监控 Splunk 环境的运行状况。配置限制:•没有搜索层的高可用性•索引器群集中的唯一存储桶总数限制为 20MM （V8.x），总存储桶数为 40MM•数据中心中断时没有自动灾难恢复功能搜索层管理搜索的头•VM SKU: 1 x n2-standard-32•储存:本地SSD或PD-SSD索引层•VM SKU: 3 x n2-standard-32•储存:本地SSD或PD-SSD部署服务器•VM SKU: n2-standard-8•储存:PD-HDD监视控制台/许可证大师的总和•VM SKU: n2-standard-8•储存:PD-SSD群主•VM SKU: n2-standard-8•储存:PD-SSD 技术简单在谷歌云部署Splunk企业平台5从架构上讲，此部署由传统分布式配置中的五个 Splunk 实例组成。其中三个实例充当索引器，另一个充当搜索头，我们在管理层中也有三个节点。可用存储的总大小应基于保留要求和预期的每日索引量。使用 Splunk SmartStore 可以帮助您优化存储选项的成本。大规模分布式部署(上海广电C3)搜索头群集 （SHC） 增加了水平可伸缩性，并从搜索层中删除了单点故障。实施SHC至少需要三个搜索头。要管理 SHC 配置，每个 SHC 都需要一个称为 Search Head Cluster Deployer 的附加 Splunk 组件。为了在群集中部署对配置文件的更改，此