Miercom：2024年NGFW防火墙安全基准-防火墙安全功效竞争性评估实验室总结报告

2024年NGFW防火墙安全基准 防火墙安全功效竞争性评估实验室总结报告 评估对象 CheckPointSoftware 2024年1月 SR240117C miercom.com/checkpoint 目录 1.0执行摘要3 2.0测试结果摘要5 2.1恶意软件防御与检测摘要5 2.1.1恶意软件防御与仅检测0+1日恶意软件5 2.1.2恶意软件防御功效0+1日恶意软件6 2.2恶意网络钓鱼URL防御与检测摘要7 2.2.1网络钓鱼和恶意URL防御7 3.0误报检测8 3.1误报测试摘要8 3.1.1恶意软件检测的误报率8 4.0经测试产品9 5.0测试设置10 5.1Miercom高级攻击性威胁检测10 5.2VirusTotal11 5.3测试环境12 6.0关于Miercom13 7.0本报告的使用13 1.0执行摘要 CheckPoint委托Miercom对CheckPoint下一代防火墙(NGFW)开展竞争性安全有效性测试，选择的竞品分别来自Cisco、Fortinet和PaloAltoNetworks。对Zscaler的测试涉及他们的SWG（安全网关）。测试内容包括验证防病毒、反恶意软件、入侵防护系统(IPS)、防僵尸网络、URL过滤(URLF)、沙盒、机器学习及网络钓鱼防御的有效性。我们在所有安全服务启用的情况下开展测试，并测试了每种解决方案检测和拦截现代恶意软件的能力。 基于Web的恶意软件攻击、有针对性的网络钓鱼攻击、应用程序层的攻击等现代威胁在全球范围内提升了各个组织所面临的威胁级别。大多数新的恶意软件和入侵都企图利用应用程序（而不是网络组件和服务）中的漏洞。具有高级威胁防护功能的NGFW可提供最佳防御，足以抵御最新一代网络攻击。  我们的测试特别关注在发现恶意软件新变种的前24小时内能检测出并对其进行防御的能力，以及检测和防御新的网络钓鱼站点的能力。 在本报告中，0+1日恶意软件（发现零日攻击的次日）是指当天新发现的恶意软件。在前24小时内，任何供应商的签名检测机制都不太可能识别这些恶意软件样本 本报告中使用的术语包括防御与仅检测。“防御”表示恶意软件已被拦截。“仅检测”表示恶意软件已被识别但未被拦截。 主要调查结果 前24小时内的关键防御率：在即时防御恶意软件样本的总数方面，CheckPoint在小组测试中遥遥领先。恶意软件攻击活动的前24小时是最危险的，这也是拦截攻击以免其迅速传播并造成大 规模破坏的关键时段。在前24小时内使用拦截率较高的安全系统，让企业可以花费更少的金钱和精力，更快速地响应并修复受感染的服务器和端点。 ●0+1日恶意软件防御与检测测试：CheckPoint成功防御了超过99.8%的新恶意软件，这些恶意软件来自大批文件和不同的文件类型，包括可执行文件、文档和存储时间不超过一天的存档文件。 CheckPoint成功防御了99.8%的恶意软件下载，获得了最高分 Fortinet的防御率为84.0%，仅检测率为9.4%Zscaler的防御率为75.4% PaloAltoNetworks的防御率为69.4%，仅检测率为8.7%Cisco的防御率为47.8%，仅检测率为37.2% 2.1.10+1日恶意软件的防御与仅检测 ●0+1日恶意软件防御（首先拦截）结果CheckPoint以99.8%的防御率领先Fortinet的防御率为84.0% Zscaler的防御率为75.4% PaloAltoNetworks的防御率为69.4%Cisco的防御率为47.8% 2.1.20+1日恶意软件的防御功效 ●网络钓鱼防御：同样，前24小时是拦截攻击的最关键时段。事实证明，CheckPoint利用 R81.20先进的AI深度学习能力，对网络钓鱼URL的整体防御效果最佳。CheckPoint以100.0%的网络钓鱼防御率和恶意URL防御率处于领先地位Zscaler的防御率为97.2% PaloAltoNetworks的防御率为96.5%Fortinet的防御率为95.9% Cisco的防御率为53.1% 2.2.1网络钓鱼和恶意URL防御 ●恶意软件检测误报：若内容被误报为恶意内容，会给安全团队带来不必要的工作量和压力。反过来，这又会造成自满情绪，影响组织的整体安全态势和安全功效。 CheckPoint以0.13%的最低误报检出率在小组中处于领先地位 Zscaler的误报率为0.20% Fortinet的误报率为0.23% Cisco的误报率为0.27% PaloAltoNetworks的误报率为0.30%3.1.1恶意软件的误报检出率 ●集成的机器学习技术：我们使用最严格的检测设置和可用的检测功能（包括机器学习(ML)）对每个供应商的产品都进行了评估。CheckPoint和Fortinet以独特的方式将ML功能整合到检测和拦截的即时响应中。 2.0测试结果摘要 2.1恶意软件防御与检测摘要 NGFW测试结果摘要：几款产品针对0+1日最新发现的恶意软件的拦截与检测功效的测试结果对比。 2.1.1恶意软件防御与仅检测0+1日恶意软件 上图显示了在攻击的前24小时内，每个供应商的防火墙在防御与仅检测方面的表现。防御表示该解决方案识别出恶意软件并立即将其拦截在网络之外。仅检测表示该解决方案识别出恶意软件，但未将其拦截在网络之外。 恶意软件新变种的防御成功率：在我们的0+1日恶意软件测试中，CheckPoint成功防御了超过99.8%的恶意软件，这些恶意软件来自大批文件和不同的文件类型，包括可执行文件、文档和档案。PaloAltoNetworks、Fortinet、Cisco和Zscaler的防御率分别为69.4%、84.0%、47.8%和75.4%。 2.1.2恶意软件防御功效0+1日恶意软件 上图显示了每个供应商的防火墙在攻击的前24小时内的防御表现。防御表示该解决方案识别出恶意软件并立即将其拦截在网络之外。 2.2恶意网络钓鱼URL防御与检测摘要 NGFW测试结果摘要：对最新发现的网络钓鱼和其他恶意URL的拦截和检测功效之测试结果对比。 2.2.1网络钓鱼和恶意URL防御 漏检的恶意URL越少越好。上图显示了每个供应商的NGFW产品在检测和防御最新发现的（发现24小时以内）网络钓鱼和其他恶意URL方面的表现。CheckPoint不仅展示了静态检测能力，还可以根据对网页内容（例如企业徽标/图标、可疑字段、不规则拼写、重定向以及这些网站的许多其他模糊的恶意组件）的分析，使用基于AI的网络钓鱼保护动态检测网络钓鱼网站。这种针对网络钓鱼检测的双层保护（基于信誉和内容分析）非常重要，因为许多网络钓鱼网站会通过更改其IP地址位置和域名来攻克基于信誉的静态保护形式。 3.0误报检测 3.1误报测试摘要 误报事件是指被错误识别为恶意的非恶意（或良性）文件。有些文件由于可能在网络上被滥用而被归入灰色类别。密码恢复工具就是这方面的一个例子，虽然从技术上讲它不是恶意的，但却经常因其潜在的恶意而被检测到。 样本评估了NGFW防病毒引擎的粒度。智能防病毒引擎仅标记恶意文件（真阳性），以便用户可以继续开展干净的文件交易。如果误报检出率太高，则认为防病毒引擎过于严格，妨碍了网络活动和工作效率。智能防病毒引擎可以掌握样本检测通过或不通过的时机。 我们经由HTTP将误报（干净的可疑文件）和真阳性（恶意软件文件）的混合样本发送出去。对于发出的干净文件，我们计算了NGFW错误地将其标记为恶意样本的百分比。 3.1.1恶意软件检测的误报率 误报检出率越小越好。我们对每款NGFW产品在恶意软件测试中是否存在误报检出事件进行了检查。这些样本文件实际上不是恶意的，但要确定它们是不是恶意的，这对于NGFW产品来说可能具有挑战性。与PaloAltoNetworks、Fortinet、Cisco和Zscaler相比，CheckPoint得分最高，误报检出率最低。测试内容包括在过去90天内对数千个样本进行审查。 4.0经测试产品 CheckPoint 版本：R82和R81.20 数据表和规格： https://downloads.checkpoint.com/fileserver/SOURCE/direct/ID/103832/FILE/CP_R81_ReleaseNotes.pdf PaloAltoNetworks 版本：PAN-OS11.1.1 数据表和规格： https://docs.paloaltonetworks.com/content/dam/techdocs/en_US/pdf/pan-os/11-1/pan-os-release-notes/pan-os-release-notes.pdf Fortinet 版本：FortiGate/FortiOS7.4.2 https://docs.fortinet.com/document/fortigate/7.4.2/administration-guide/954635 Cisco系统 版本：7.4.1 数据表和规格： https://www.cisco.com/c/en/us/td/docs/security/secure-firewall/management-center/admin/740/management-center-admin-74/get-started-overview.html Zscaler 平台版本：6.2 客户端版本：3.9.0.156 数据表和规格： https://help.zscaler.com/zia/step-step-configuration-guide-zia 5.0测试设置 已开展的测试旨在确定每款NGFW产品的优缺点。除了通过行业测试工具生成流量模式和攻击外，我们还将经过验证的独特恶意样本用于定制的开源方法。如果对这种恶意样本组合的检测功效很高，就表明可以全面防御多种攻击向量。 在90天的过程中，我们反复从VirusTotal下载了500个最新提交的恶意文件集，有25多个引擎判定其存在恶意（很有可能是有效的恶意软件）。这些恶意样本包含Officedocx、Officexlsx、pdf、exe、dll以及存档文件。我们使用防病毒和反恶意软件、IPS、防僵尸网络、URLF、沙盒以及机器学习内联检测机制，对每个NGFW解决方案都进行了评估。我们在每个供应商的NGFW解决方案上同时运行测试。 此外，为了进一步挑战被测设备(DUT)的签名检测机制，还对恶意样本进行了轻微修改，这样就能为这些样本生成新的哈希值。修改是在不影响恶意负载执行的情况下完成的。这样一来，已知的恶意软件样本将作为新的变种被发现，从而能够更好地挑战每个NGFW的“签名”引擎。 5.1Miercom高级攻击性威胁检测 威胁形势每天都在变化，且愈发复杂，不仅需要更多的攻击性安全解决方案，还需要更动态的测试方法。Miercom高级攻击性安全测试结合了场景驱动的方法，可为消费者提供与其安全解决方案相关的数据。这些测试可评估DUT在不造成性能下降的情况下，对特定类型的敏感数据进行检测并防止其离开网络的能力。目标流量由我们生成的电子邮件组成，其中包含用户帐户、关键词和格式化的随机数字字符串（例如信用卡号或纳税人识别号）等条件。模拟的目标流量与真实场景中的良性后台流量同时发送，以评估检测功效并检查有无误报检出。 5.2VirusTotal 从VirusTotal下载的恶意软件样本后来都被用于评估所有的NGFW产品。用户可以在自己的计算机上选择一个文件，然后通过Web浏览器将其发送到VirusTotal。VirusTotal提供了许多提交文件的方法，包括主要的公共Web界面、桌面上传器、浏览器扩展以及编程API。在各种公开可用的提交方法中，Web界面的扫描优先级最高。用户可以使用基于HTTP的公共API以任何编程语言编写所提交文件的脚本。 为在测试中选择VirusTotal样本特征而设置的规则如下所