腾讯安全湖全流量解决方案

PB级安全数据智能分析 腾讯安全湖全流量解决方案 主讲人： 腾讯安全运营中心总监齐恒 腾讯安全湖全流量方案背景 网络安全实战攻防对抗下面临的新挑战 海量的数据规模、快速的数据流转、复杂多样的数据类型导致“安全数据价值难以发挥” 快速增长的数据规模 持续增加的存储成本 信息分散 安全状况不可见 结构复杂 数据分析难度大 流量数据规模快速增长 大量存储资源占用 关键安全信息被淹没 非结构化数据激增 网络安全实战攻防对抗下面临的新挑战 钓鱼攻击、0day漏洞、无文件攻击等攻击手段屡见不鲜，但仍然是最难以防御的攻击手段 攻击工具更新速度 高频化 漏洞利用工具 自动化 关键漏洞平均修复时间 6个月 已知正在利用漏洞 610+ 攻击手段种类 20+ 每日爆出漏洞 10+ 社工钓鱼攻击事件 PhishingAttack 经过多年发展，网络钓鱼已成为最常见、也最容 易得逞的攻击手段之一。 随着网络技术的不断发展，钓鱼攻击的伪装手段也变得愈发狡诈，攻击频次不断提升，各种新奇的攻击方式层出不穷。 这对企业组织的业务安全开展和防护工作带来了 巨大的风险。 漏洞利用攻击事件 Exploitvulnerability 2021年12月，某知名漏洞（CVE-2021-xxxxx） 被发现，其严重危害影响至今。该漏洞允许攻击者通过特制的信息执行任意代码，且由于攻击特征的多样性和复杂性，检测和防御这种攻击变得非常困难。几乎所有使用该库的系统都可能受到 影响。这也影响了大量的企业级用户 供应链攻击 SupplyChainAttack 2020年，黑客入侵了国际某知名软件公司的开发 环境，在合法更新包中植入了恶意代码，并成功入侵了多个更新此软件的企业公司。 2023年，供应链攻击变成攻防演练活动中的加分项，可预见的是供应链攻击将变得愈发常见，如何轻量化的解决供应链的安全问题，成为了防 守方需要重点关注的课题 如何更好的应对常态化网络安全攻防对抗？ 腾讯安全湖全流量解决方案 ... 腾讯安全湖全流量解决方案 腾讯安全湖结合全流量数据，可进行情报检测、漏洞检测，排查失陷和入侵风险；支持180天以上的全流量分析、调查取证、回溯和可视化。 NDR全流量安全湖核心价值 数据采集 数据分析 全流量数据存储与深度分析回溯 检测规则告警 数据检索 监控 &告警 分析 &报表 可视化 BI 安全应用开发 安全事件告警 威胁情报回扫 应用场景 漏洞回溯 调查取证 安全检测告警 … netflow http “灵活实时的数据表”“一体化数据引擎” （支持各类分析场景和插件式能力扩展） “自研数据底层引擎”“架构领先”“专注安全” （全技术栈满足国产要求） “列存储”“无索引”“极致压缩率” （同等规模下硬件成本仅为ES的1/10） dns 网络流量元数据 腾讯安全湖全流量方案能力：NDR网络威胁检测与响应 NDR通过结合专家规则、哈勃沙箱、威胁情报、AI算法和腾讯天幕旁路阻断器等技术，对流量进行协议解析、文件还原和全量信息存储，发现恶意攻击和潜在威胁，对攻击事件进行分析、溯源和阻断。 解析协议还原流量还原文件 检测异常文件 调查分析 流量威胁检测生成事件 阻断 威胁情报 文件沙箱分析 安全专题 APT检测 0day发现 腾讯NDR 实时阻断 异常行为发现 溯源分析 通过专家规则、哈勃沙箱、威胁情报、AI算法和腾讯天幕旁路阻断器等技术，对流量进行协议解析、文件还原和全量信息存储，发现恶意攻击和潜在威胁，对攻击事件进行分析、溯源和阻断。 帮助企业建立网络防线，发现网络威胁、快速响应安全事件。 腾讯安全湖全流量方案能力：安全湖 腾讯基于云原生技术打造的高性能、低成本、纯自研、全栈国产化的PB级安全大数据分析平台，为安全数据分析提供高性 能+一体化智能分析引擎 规模 全面提升 成本效率 数据存储数据应用 数据治理数据采集 安全数据规模：弹性扩容，近乎无限的存储量 数据使用成本：成本降低，尽量减少成本损耗 原始数据分析：回溯分析，可长周期数据查询 数据分析效率：效率提升，极致提升查询效率 解决数据存储和使用成本问题，提高数据查询速度具备180天以上对原始数据的事件调查和威胁狩猎实现安全智能化转型 腾讯安全湖全流量解决方案架构 安全湖集成NDR网络流量数据，扩展流量检测能力并支持长周期的全流量数据存储与深度分析回溯 安全检测告警 数据接入 网络流量元数据 强大的分析引擎 丰富的可视化BI 低成本的数据存储 长周期的 全流量数据留存与回溯 灵活自定义的 各类仪表盘与图表 简化和加速 安全分析与调查 网络流量镜像 核心价值 •威胁检测（实时数据） •流量还原（协议解析） 核心价值 •威胁回溯（历史数据） •灵活检索（调查取证） 核心价值 •长周期、低成本、高效的存储与检索全量数据 •灵活的检索语句、可视化BI、安全场景灵活扩展 安全能力提升效果 安全湖 NDR + 腾讯安全湖全流量核心价值 腾讯安全湖全流量解决方案核心价值一：全流量存储与分析 存储查询分析 “全流量长周期低成本存储” “简易检索快速全文查询” “PB级海量数据秒级分析” 10~20倍 压缩比 180+天 存储时间 灵活 检索条件 简易 全文检索 排查 热点漏洞 回扫 最新情报 勒索软件 僵尸网络 远程控制 恶意扫描 钓鱼邮件 腾讯安全湖全流量解决方案核心价值二：长周期的威胁情报回溯 场景介绍：将每日新增情报进行全流量历史数据回溯，发现情报命中的风险问题 威胁情报回扫 1内置腾讯威胁情报，实时更新最新高精准威胁情报 2API查询、Stix2、CSV等格式可对接第三方情报 3提取情报中的IOC和TTPs，形成自动化回扫任务 4回扫3个月以上全量历史数据，产生对应报告 5根据命中的情报信息，进行情报扩线和威胁狩猎 新增：自动化威胁回扫任务 每日更新的情报：回扫历史数据全量的情报：回扫每日新增数据 腾讯安全湖全流量解决方案核心价值三：0day/1day漏洞应急处置 Domain/URI/URL/… HTTPrequestheader/body/code/…HTTPresponseheader/body/code/type/… 0day/1day漏洞应急处置 1内置腾讯漏洞规则，获取漏洞信息 2NDR对网络攻击的payload全量提取 3安全湖对全流量数据存储和会话还原 40day/1day漏洞利用的攻击识别和响应 NDR全流量提取 网络攻击流量的payload 场景介绍：对突发的0day/1day信息回扫全流量历史数据，发现漏洞利用的历史情况并及时响应 安全湖 1历史数据回溯分析 2新增数据实时检测 历史数据新增数据 0day漏洞受影响时间线 0day漏洞入侵成功 0day漏洞信息获取 0day漏洞修复0day漏洞复查 安全运营 威胁狩猎 多云日志分析多源情报管理 情报回溯分析 API安全 API发现和管理 API访问基线API调用分析 敏感数据泄露分析 单机部署 分布式部署 SaaS服务 腾讯安全湖全流量解决方案核心价值四：基于全流量数据快速构建更多的安全场景 威胁检测 情报回溯 内置APP 社区APP 客户APP 可视化BI 管道检索 机器学习 响应处置 安全湖 流量安全 全流量存储与分析 攻击行为取证分析 HTTP/DNS协议分析 流量资产发现 数据安全 数据防泄漏 数据库审计 API安全审计 API访问行为分析 腾讯安全湖全流量实战案例 案例：某大型物流企业-PB级全流量数据存储与分析 背景概述： Internet 南北向流量镜像 NDR御界 管理区 安全湖 东西向流量镜像 运维人员 内网区服务器 内网区服务器 内网区用户 DMZ区服务器 该物流企业对互联网出口、外网业务区域（DMZ）的流量进行深度分析，平均流量7.4Gbps，每天新增的全流量原始数据为1.3TB/天。由于数据量较大，在全流量数据存储与分析方向待提升的内容： •每日产生大量安全原始数据，且数据规模不断增长，占用较多存储资源， 亟需降低全流量数据存储成本 •降低全流量数据检索和分析难度，实现对海量全流量数据的简易检索，以 满足对全流量数据的灵活检索 •提升全流量数据检索和分析效率，实现对海量全流量数据的快速检索，以 满足对全流量数据的分析效率 方案效果： •安全湖对全流量数据的压缩比达到40倍，压缩后的数据存储量为原始数据的4%，通过三节点服务器可承载180天全流量数据 •安全湖对全流量数据的查询实现简易检索，仅需3个步骤的极简搜索操作，可针对设置的关键字进行全流量数据的模糊搜索 •安全湖对长周期全流量数据可实现秒级查询，查询30天内流量日志，可秒 级对网络攻击流量特征查询和取证 方案拓扑图 案例：某大型金融单位-全流量数据威胁回溯 背景概述： 重点关注APT潜伏攻击和新发现的0day/1day漏洞利用攻击，需要对全流量数据进行180天以上的长周期历史数据威胁回溯，在全流量数据威胁回溯方向待提升的内容： •利用多源威胁情报，提取威胁情报相关的IOC，对全流量数据进行情报回 溯排查网络攻击隐患 •根据新发现的0day/1day漏洞信息，根据漏洞攻击特征，对全流量数据进行漏洞回溯及时对漏洞进行应急响应和风险排查 •充分发挥长周期历史数据价值，基于全流量数据梳理API接口、IP互访关系、数据传输记录等 方案效果： •自动化情报回扫，通过自动化情报回扫任务，针对威胁情报对应的IP、域名、文件hash等回扫全流量数据，发现近30天内209条APT入侵痕迹； •0day/1day漏洞响应，通过内置的漏洞规则，针对热点漏洞、突发漏洞、必修漏洞等查找漏洞攻击痕迹，发现3个通用组件漏洞攻击成功的特征； •业务全流量画像与行为监控，通过可视化BI能力，基于全流量数据直观的 呈现100+应用访问情况，比如远程办公系统、互联网缴费系统； 威胁检测：NDR 方案定位 全流量数据 威胁回溯：安全湖 实时流量：8.5Gbps每天1w+攻击事件 流量画像和API分析 热点漏洞攻击分析 长周期历史数据回溯 实时全流量检测 15w精准情报 209条入侵痕迹 涉及10+个APT组织 响应383个热点漏洞识别3个高危漏洞攻击 2k+API流量访问行为基线 100+应用流量画像 THANKS