腾讯（黄羽）：基于安全湖的PB级安全数据智能分析方案

【能源×安全】 基于安全湖的PB级 安全数据智能分析方案 目录 1.安全分析问题与挑战 3.腾讯安全湖产品亮点 2.腾讯安全湖解决方案 4.腾讯安全湖案例分享 01 安全分析问题与挑战 安全数据，因其海量的数据规模、快速的数据流转、复杂多样的数据类型导致“安全数据价值难以发挥” 不断增长的 数据规模 EDR、NDR、XDR等新兴技术 持续增加的 存储成本 大量存储资源占用 信息分散 安全状况不可见 关键安全信息被淹没 结构复杂 数据分析难度大 非结构化数据激增 3 挑战1：海量安全数据规模，种类多难管理，使用效率低 挑战2：安全分析成本高昂 挑战3：长周期数据分析慢且难，回答不了是否已经被攻击，被攻击范围和影响面问题 4 规模 智能化 成本 效率 数据存储 数据应用 一体化 数据治理 数据采集 安全数据分析需要：“高性能数据平台”+“一体化智能分析引擎” 安全数据规模：弹性扩容，近乎无限的存储量 数据使用成本：成本降低，尽量减少成本损耗 数据分析效率：效率提升，极致提升查询效率 一体化智能化：架构领先，安全数据智能分析 解决数据存储和使用成本问题，提高数据查询速度具备180天以上对原始数据的事件调查和威胁狩猎实现海量安全数据实时分析 5 02 腾讯安全湖解决方案 应用层 腾讯安全湖产品：是一款云原生、低成本、高性能、全栈国产化的安全大数据分析平台，为所有泛安全数据提供一体化的数据接入、解析、存储、智能分析、检索、报表和可视化等服务。 丰富的安全场景 检测、调查、溯源、可视 数据洞察 丰富的可视化组件，所见即所得 一体化 一站式数据湖服务 PaaS层 统一分析能力：支持规则、模型分析 平台化 数据中台模式：支持生态自定义APP 云原生 弹性伸缩：秒级扩缩容低成本：支持无限量存储 NDR 数据安全 零信任 安全运营 API安全 集群管理 全流量存储与分析 攻击行为取证分析 HTTP/DNS协议分析 流量资产发现 数据防泄漏 数据库审计 API安全审计 API访问行为分析 主机行为分析 应用安全管控用户行为分析 终端账号审计 威胁狩猎 多云日志分析多源情报管理 情报回溯分析 API发现和管理 API访问基线API调用分析 敏感数据泄露分析 集群调度 告警 可视化BI：仪表板、图表 检索：SQL、SPL 告警策略 数据服务 监控 准实时分析引擎 流处理引擎 机器学习/AI 报表 应用管理 门户 其他存储：HDFS 对象存储COS 本地磁盘存储 存储资源 消息总线 统一接入：ETL 接入层 7 云原生一体化安全数据分析平台 内置核心APP、具备“插件化”应用开发能力提供API/SDK构建完整的安全数据应用生态体系 威情 胁报 检回 测溯 内置 APP 社区 APP 客户 APP 可视化BI 管道检索 机器学习 响应处置 安全湖 安全应用 单机部署 主要功能核心能力 部署模式 原子能力 自定义 开放API 数据服务 安全湖 态势感知SIEM/SOC合规检查UEBA… APP 手工导入 数据中台 数据接入 分布式部署 SaaS服务 syslog kafka 8 网络安全防御进入深水区，安全运营管理亟需从被动防御转化为主动防 御思维，利用技术手段从海量安全数据中挖掘价值 被动防御 主动防御 当前现状和痛点解决方案 为了合规，存了很多数据没别的用途 业务发展，数据越存越 多，占用资源也越多 高性能、极致压缩比的 PB级数据存储/分析 只能回溯7天数据，而且很慢 海量安全数据 现有安全产品只做实时检测 APT攻击识别与威胁回溯 不知道企业有没有被APT不知道影响面多大 0day漏洞响应/排查 新漏洞爆发，不知道是否曾经被入侵 长周期的 全流量数据留存与回溯 攻防不对等，无法做历史数据回溯 原平台面临授权过期及国产化问题 全国产化，自主可控 9 隔壁某电力公司，最近被黑客入侵了，影响很不好。调查说黑客潜伏了快半年才动手。 我们公司安全情况怎么样？有没有被入侵过？有没有潜在风险？影响到哪些业务？有没有在解决？ �效率慢，无法长周期存储数据，难以回答关键问题 领导，我们回去调查下，下周回复您。需要花点时间跑数据和排查。 �同行公司出事了，我们是不是下一个？ NDR网络威胁检测 提供源数据 +安全湖 海量数据存储与安全分析能力 长周期流量历史数据回溯 基于全流量的威胁情报&APT检测 情报回溯，排查是否有历史失陷 漏洞回溯，排查是否有历史入侵 威胁狩猎(APT、最新漏洞攻击），主动发现 领导，针对最新攻击，我们一直在实时监控过去半年的数据情况，重点业务甚至回溯一年数据 从数据图表来看，我们过去半年没发现这类攻击，但发现多起尝试攻击行为，说明黑客一直在尝试突破a、b部门。 另外x部门经上次弱密码整改后，对比半年前少了90%的弱密码问题，我们在持续推进 �实时回溯全流量长周期数据，快速解答安全态势问题 仪表板可视化分析（如安全态势分析、弱密码分析及整改情况、流量态势、源IP和目的IP画像等） 可支持180天以上的全流量分析、调查取证、回溯和可视化 流量安全态势分析 灵活的自定义流量检测规则 10 集成NDR网络流量数据，扩展流量检测能力并支持长周期回溯流量数据 安全检测告警 数据接入 网络流量元数据 强大的分析引擎 丰富的可视化BI 低成本的数据存储 长周期的 全流量数据留存与回溯 灵活自定义的 各类仪表盘与图表 简化和加速安全分析与调查 网络流量镜像 NDR御界 安全湖 安全能力提升效果 + 11 我们之前应合规存的数据还在吧，先查查有没有被APT攻击，影响面多大。提前应对监管 �监管部门要求排查企业有没有潜伏APT（“APT扫雷”） APT/高级威胁狩猎：基于威胁情报IOC、ATT&CKTTP HW&攻防对抗场景：HW前潜伏的威胁 高级威胁场景：潜伏的、未被发现的威胁 1.构建狩猎/情报回溯任务 �效率慢，无法长周期存储数据，难以回答关键问题 领导，我们回去调查下，下周回复您。需要花点时间跑数据和排查。 �实时APT威胁狩猎和情报回溯，快速解答APT扫雷问题 2.收集数据/回扫历史数据 3.可视化分析、调查取证 领导，针对最新威胁情报和APT攻击特征，我们一直在实时监控过去半年的数据情况，重点业务甚至回溯一年数据 从数据图表来看，我们过去半年没发现APT，但发现多起尝试攻击行为，说明黑客一直在尝试突破a、b部门。 12 针对热点APT组织进行攻击回溯并持续跟踪，使用威胁情报进行扫雷 APT攻击回溯流程图 APT 风险评估 APT攻击回溯时间线 获取 APT情报 APT规则更新 持续跟踪APT行动细节 APT检测规则 “IOC、工具、TTPS” 基于APT情报 确定需要关注的APT 3.持续回溯跟踪 2.APT攻击发现 1.定义APT组织 “情报获取” •APT报告 •商业情报 •开源情报 •行业共享 “蔓灵花” 蔓灵花(Bitter)是一个来自南亚某国的APT组织，长期针对中国及巴基斯坦的政府、军工、电力、核等部门发动网络攻击，窃取敏感资料 “IOC” I46.30.190.160 nakamini.ddns.netHtml/docx/exe:hash漏洞利用/命令执行 “变种/更新” 添加-IOC情报添加-攻击特征关联-其他APT …. 13 �最近业内爆发新漏洞，担心自己中招 最近某某漏洞新爆发，国内国外好多公司系统瘫痪了。 我们现在什么情况，有没有这个0day的入侵迹象，接下来怎么应对？今天给我答复 根据新发现的0day漏洞信息 �效率慢，无法长周期存储数据，难以回答关键问题 领导，我们回去调查下，今天可能无法完整回复您。需要花点时间跑数据和排查。 回扫历史数据，发现漏洞利用的历史情况并及时响应 安全湖 1历史数据回溯分析 2新增数据实时检测 �实时0day漏洞风险排查，快速解答应急问题 历史数据新增数据 领导，针对最新的0day漏洞，我们刚回扫了过去半年的数据情况，重点业务甚至回溯一年数据。 从数据图表来看，我们过去半年没发现此漏洞攻击迹象，但发现多起尝试攻击行为，说明黑客一直在尝试突破a、b部门。 接下来我们更新了检测规则模型，能对新增数据做实时检测，以及漏洞修复的复查 0day漏洞受影响时间线 0day漏洞入侵 成功 0day漏洞信息获取 0day漏洞修复0day漏洞复查 14 通过0day漏洞回溯，发现历史数据中的攻击行为信息 主动识别攻击痕迹，通过使用系统内置或自定义创建的狩猎规则，快速寻找可疑的异常或正在进行的攻击痕迹，进行调查取证。  0Day(最新漏洞）攻击的防御具有滞后性（数天/周），滞后期间存在巨大的安全风险。  漏洞信息发布数天/周后，对应的防御规则才会更新到现有产品/方案中。 持续狩猎，基于数据和征兆进行安全 分析，事前主动防御 15 实时消费数据流（kafka） SOC平台 SOC平台 安全湖 实时消费数据流（kafka） 以某实际项目为例，客户200TB数据使用安全湖仅需3台硬件，使用开源软件需近20台硬件，硬件开销降低至15%。 极致的数据压缩比 大幅降低存储成本海量日志存储不是负担 高效的检索效率 大幅提升数据使用体验毫秒级查询关键日志 定义丰富的分析场景贴近用户运营构建视图便捷纵览安全问题 原有SOC架构图通过安全湖对SOC升级优化架构图 应用展示/安全场景 应用展示/安全场景 NDR、EDR等安全数据 NDR、EDR等安全数据 原有能力升级优化部分16 聚焦于高性能数据底座基础上安全场景应用 安全态势可视化：API安全/DNS安全/数据审计/AD 域/NDR/IOA 安全检测：预置腾讯情报检测规则，支持开源情 报、第三方商业情报；自定义规则，如SQL注入、代码注入、命令执行、XSS、CSRF、webshell等 威胁狩猎：基于ATTCK狩猎模版，主动发现高级威胁 情报回溯：海量安全日志和情报匹配碰撞，补足其他安全产品检测能力 事件溯源：支持180天以上攻击事件取证和溯源，如 流量payload、主机行为等 “安全湖”VS“Splunk”安全场景APP 17 使用腾讯安全湖轻松应对 多种接入方式+内置标准数据格式 支持syslog、kafka、TCP/UDP等多种接入方式，内置多种标准的数据格式，支持用户自定义解析策略，多次解析策略，帮助用户快速完成数据初始化工作。 高性能存储、查询、分析能力： 列存储，“无索引”架避免索引开销，支持存算分离。通过自研原子能力实现处理、查询、 存储、分析一体化。支持SQL/SPL语法，快速迁移原有规则和调查任务。 百亿级数据（实测数据） >10 存储压缩比： 原始日志存储大小/ 压缩后存储大小 安全场景： <5秒 单字段等值匹配查询 <10秒 单字段前缀匹配查询 <30秒 单字段聚合统计 传统安全厂商的数据底座由多种开源组件拼装，性能弱，扩展性弱，维护成本高。随着数据从TB级走向PB级时代，老平台越用越慢，逐渐不可用 数据不全：各设备数据格式多，接入繁琐， 设备厂商协调困难 不成体系：缺少统一的数据格式 性能差：写入性能差、存储开销大、查询速度慢、运维成本高 查询慢：规则建模、事件调查的每次查询需 要几十分钟以上 使用难度大：数据分析语言复杂且学习成本高，配置、测试和维护检测规则难度较大且效率低下 成本高：安全日志数据量大，存储时间久，系统成本过高 内置多种安全场景、检测规则/模型、威胁情报IOC、漏洞情报等，即开即用，秒级查询，快速上手PB级海量数据回溯及威胁狩猎等主动防御手段 开放“插件化”APP： 提供多样的可灵活自定义场景APP，插件化可插拔，根据业务场景扩展，生成定制的数据分析视图和任务。 18 03 腾讯安