网络基础安全之XDR扩展检测与响应平台

©2023云安全联盟大中华区版权所有1 @2023云安全联盟大中华区－保留所有权利。你可以在你的电脑上下载、储存、展示、查看及打印，或者访问云安全联盟大中华区官网（https://www.c-csa.cn）。须遵守以下：（a）本文只可作个人、信息获取、非商业用途；（b）本文内容不得篡改；（c）本文不得转发； （d）该商标、版权或其他声明不得删除。在遵循中华人民共和国著作权法相关条款情况下合理使用本文内容，使用时请注明引用于云安全联盟大中华区。 ©2023云安全联盟大中华区版权所有2 ©2023云安全联盟大中华区版权所有3 致谢 《网络基础安全之XDR扩展检测响应平台》由CSA大中华区XDR(扩展检测与响应系统)项目组专家撰写，感谢以下专家的贡献： 项目组组长: 吴湘宁顾立明 主要贡献者： 谢琴 计东 马权 严冬 毛备 曾永红 崔崟 罗川 邢海韬 赵锐 岳炳词 张睿 参与贡献者: 车洵 陈昊闻 程碧淳 丁俊贤 董天宇 顾伟 何维兵 胡钢伟 刘斌 刘国强 刘涛 欧建军 潘海洋 舒庆 孙亚东 谢泳 余滔 郑亚东 周海生 研究协调员： 蔺鹏飞 贡献单位: 北京天融信网络安全技术有限公司中移(苏州)软件技术有限公司杭州安恒信息技术股份有限公司杭州极盾数字科技有限公司 奇安信网神信息技术(北京)股份有限公司 上海物盾信息科技有限公司 深信服科技股份有限公司沈阳东软系统集成工程有限公司腾讯云计算（北京）有限责任公司网宿科技股份有限公司 新华三技术有限公司亚信安全科技股份有限公司中国电信股份有限公司研究院中兴通讯股份有限公司 (以上排名不分先后) 关于研究工作组的更多介绍，请在CSA大中华区官网（https://c-csa.cn/research/）上查看。 在此感谢以上专家及单位。如此文有不妥当之处，敬请读者联系CSAGCR秘书处给与雅正!联系邮箱research@c-csa.cn；国际云安全联盟CSA公众号 序言 当前全球正在快速踏入数字化世界，无论是国家、政府、企业还是个人，都身处数字化的洪流之中。数字化手段正在有力地提升国家与政府的施政效率，并持续推动科技和企业的快速更新。 正如光影的两面性，数字化也蕴含着利弊并存的风险。不断涌现的网络安全挑战启示我们，网络威胁的严重程度日益加剧。随着黑灰产业服务化、武器化、组织化的兴起，以及AI技术的突破，网络攻击的门槛将大幅降低，黑客的攻击能力也将得到大幅度提升。而数字化程度的提高，使得网络资产的价值不断攀升，同时也加大了网络的风险暴露面，从而导致网络攻击的数量呈现增长趋势。如何应对日益猖獗的网络攻击，XDR（扩展检测响应）平台无疑成为当前不可多得的选择之一。 XDR平台内建各类关键的网络安全检测功能，并将终端、网络、云/容器、网关、邮件、Web、蜜罐、沙箱等产品的核心能力标准化。平台通过开放的标准，构建了一个即插即用，灵活拓展的检测响应平台。全方位的攻击面风险洞察、高清的遥感数据与平台威胁感知模型相结合，使智能辅助、自动化运营成为现实，有效降低安全管理难度，提高日常运营效率。相较于传统的产品加平台集成方案，XDR方案避免了平台与产品之间的能力断层，以及后期集成维护的困难。但XDR方案并非完美无瑕，在超大规模解决方案中，XDR可以作为统一集成单元，降低整体集成与维护成本。 期望《网络基础安全之XDR扩展检测响应平台》能为大家提供参考，亦能启迪相关领域的发展。 李雨航YaleLiCSA大中华区主席兼研究院长 目录 致谢4 序言6 第一章概述9 1.1安全行业发展背景9 1.2XDR的概念与构成11 1.3XDR的核心能力12 1.4XDR的发展历程及趋势13 第二章前端感应器能力14 2.1终端检测与响应14 2.2云工作负载防护平台23 2.3网络威胁检测与响应29 2.4Web安全网关37 2.5邮件安全网关39 2.6身份识别与访问管理42 2.7蜜罐与沙箱44 第三章后端能力49 3.1威胁情报49 3.2数据湖52 3.3AI引擎分析57 3.4高级威胁分析引擎64 3.5无代码自动化编排剧本66 3.6API中心75 3.7CICD82 第四章生态现状洞察85 4.1数字化评价指标与可视化85 4.2XDR与态势感知平台的关系95 4.3XDR与SIEM平台的关系98 4.4XDR生态102 4.5XDR与MSS104 4.6XDRaaS107 第五章实践案例分享108 5.1大型企业XDR实践案例分享108 第一章概述 1.1安全行业发展背景 20世纪80年代中后期，计算机病毒和网络蠕虫的出现，催生了网络安全行业，最早的商业化网络安全产品如反病毒软件、防火墙、入侵检测系统等陆续面世。将近40年的时间内，计算机网络所面临的安全威胁已经从感染或入侵单机发展成有组织地发动大规模网络攻击（如分布式拒绝服务攻击、钓鱼、勒索、挖矿等），从单一的漏洞利用发展成采用多种组合式攻击手段进行高级定向攻击（如国家级和商业级的APT等）。而与之对应的，网络安全防御的理念和技术也在不断演进，从静态、被动的传统安全架构，逐渐向动态、主动的综合防御能力体系发展。 20世纪90年代，国际著名安全公司ISS提出了防护、检测和响应的安全闭环模型（PDR模型），这是最早体现动态防御思想的一种网络安全模型。该模型强调在了解和评估网络系统安全状态的基础上，通过实施安全加固和调整安全策略等手段形成快速抵御威胁的能力。 图1-1PDR模型 然而在PDR模型中，“检测”受限于当时的技术发展水平，更多强调基于特征的已知攻击检测和基于统计的异常行为检测，威胁类型覆盖面窄，未知威胁 发现能力不足，而且基于“应急响应”式的安全防护框架，已经不再适用于充斥着各类高隐蔽性、高复杂度的新型威胁的环境。 2014年，各大国际知名安全机构纷纷发布新的安全理念模型，旨在帮助安全行业更积极地应对新型威胁的挑战。SANS提出的网络安全滑动标尺模型着重强调基于态势感知的动态防御和基于威胁情报的主动防御能力构建。NIST发布的企业安全能力框架（IPDRR）则延续了PDR模型的概念，扩展了保护、检测和响应环节的内容，并增加了识别和恢复两个环节，形成了更全面的动态风险控制闭环。Gartner提出了集防御、检测、响应、预测于一体的自适应安全框架（ASA），以持续监控和分析为核心，形成一个可持续自我完善的闭环，让安全防御体系能够适应环境的变化而自动进行安全保护功能的提升，以有效应对未来更加隐秘、专业的高级攻击。 图1-2自适应安全框架（ASA） 经过两次迭代，自适应安全框架已经进化到了3.0版本，即持续自适应风险与信任评估（CARTA）。随着该框架理念的不断完善，越来越多的安全功能被加 入到其中，但其所追求的目标始终未变，即构建一个整合不同安全功能、共同分享信息并更具适应性的智能安全防护体系。该框架对整个网络安全行业所带来的影响极其深远，也推动了诸多安全产品和相关技术的发展演进。 以下一代防火墙的技术发展为例，早期的下一代防火墙中虽然集成了各种2-7层的检测能力，但都是基于已知的特征和事先配置好的规则进行检测和过滤，无法根据最新的安全隐患或网络威胁进行实时更新，只能通过与其他检测类产品联动来阻断新发现的威胁，反应比较滞后。而机器学习、威胁情报等技术的成熟改变了这种被动防御的局面，通过在防火墙中集成AI引擎和未知威胁检测引擎，并与后端的漏洞库、威胁情报库进行同步，可准确发现各种新型威胁和异常行为并实时阻断，真正在网络边界形成了安全防御和检测的动态闭环。 过去10年间，许多新的安全产品不断涌现，例如安全态势感知（SA）、终端检测与响应（EDR）、网络检测与响应（NDR）、安全编排自动化与响应（SOAR）等；一些传统安全产品的功能也发生了巨大变化，如网络流量分析（NTA）、安全信息和事件管理（SIEM）等；这些新的产品或新的功能都在不断丰富和增强现有的安全防护体系。然而，在企业安全运营和网络攻防实战过程中，人们发现“检测”和“响应”之间却仍然存在着巨大的能力鸿沟，对高级威胁的发现和防御效果并未达到预期。在这样的背景下，XDR应运而生。 1.2XDR的概念与构成 根据Gartner对XDR的定义，XDR是一种基于SaaS的、特定于供应商的安全威胁检测和事件响应工具，将多个安全产品集成到统一所有许可安全组件的内聚安全操作系统中。XDR包含了前端感应处理能力和后端分析决策能力。其中前端包含了终端检测与响应、云工作负载防护平台、网络威胁检测与响应、Web安全网关、邮件安全网关、身份识别与访问管理、蜜罐与沙箱等，后端包含了威胁情报、数据湖、AI引擎分析、高级威胁分析引擎、事件分析算法、无代码自动化编排剧本、API注册与编排、持续集成和持续部署(CICD)等。 1.3XDR的核心能力 作为一类技术路径，XDR所包含的技术点众多且关系复杂。在Gartner的报告《InnovationInsightforExtendedDetectionandResponse》中，曾经列举了XDR可能包括的安全组件就有近10种，更勿论每个组件往往会包含多种技术。从环境讲，XDR需要考虑终端、网络、数据中心、云等不同的环境；从安全运营过程讲，XDR需要覆盖数据采采集、检测、分析、遏制、清除、加固等多个阶段，以及情报的生产和共享。 但XDR的定位出发，可以认为有3种技术的重要性最为突出： 1.3.1全面的遥测数据采集 XDR要让安全运营人员在一个工作界面中，完成检测、分析、响应的绝大部分工作，以显著提升工作效率，需要保证工作需要的所有数据可以在这个平台上方便地获得，减少在不同设备间切换的成本；除此之外，完备、详尽的数据采集，也是威胁关联分析、精准响应与处置不可或缺的基础。 1.3.2高级威胁狩猎 XDR需要发现各种具备高度绕过、逃避技巧的攻击，需要发现针对性极强的定向攻击，这就意味着XDR必须提供基于攻击技战术的行为检测能力——威胁狩猎；进一步考虑到狩猎专家的稀缺性，XDR不可能依赖以人为主的狩猎，而更多需要基于AI或者机器学习的方式，以多维检测形成合力，方能应对各种复杂场景下的攻击威胁。 1.3.3自动化响应 对于已经渗透到内部的攻击，需要尽快停止攻击的发展；同时识别出关键风险，进行完整的危害清除，并对被利用的薄弱点加固处理。整个过程非常注重时效性，需要抢先在攻击者之前完成，因此必须依赖自动化的机制，才可能有效的提升MTTR。 1.4XDR的发展历程及趋势 XDR发展至今，主要经过了以下四个阶段。 阶段一，关注终端安全。在互联网早期，网络安全关注在端点安全上，而杀毒软件类产品是主要的应对产品。在2014年EDR入选Gartner十大技术，区别于传统的被动式防御，EDR在技术上通过记录分析终端行为与事件形成“主动防御”。EDR作为终端安全产品，相对轻量、便捷。 阶段二，从终端覆盖到网络。网络安全检测与响应以往依靠IDS产品等产品，其通过签名指纹匹配的检测方式，主要针对当前已知的网络攻击进行检测，同时为了平衡威胁检出率和威胁检测效率，IDS特征库往往会根据业务和资产情况进行不同程度的裁剪，这就意味着IDS产品的检测技术不仅无法检测新型变种威胁，对于一些已知威胁也可能存在漏检。NDR技术不依赖于特征库，也不基于某个特定业务或资产对象，它主要通过使用机器学习技术，基于规则的检测和高级分析来检测企业网络中的可疑活动，极大的提高了安全运维效率。 阶段三，安全运营的转变和对网络的流量追踪溯源。随着信息化的发展，企业所面临的安全风险逐步和自身所具备的安全资源和能力发展不足形成了巨大的落差。Gartner在2016年提出MDR（可管理的威胁检测与响应），MDR为安全工作提升了自身威胁检测、事件响应和持续监测的能力，同时又无需依靠企业自身的能力和资源。MDR通过安全运营，联动网络中其他服务供应商提供的不同层面的攻击检测设备的威胁数据进行分析，通过机器学习模型发现以往不易发现的威胁，结合其他网络