绿盟科技天枢实验室引入英特尔流量分析开发工具套件，打造针对Web攻击的AI高性能检测方案

流量分析开发工具套件 2023 绿盟科技天枢实验室引入英特尔® 打造针对Web攻击的AI高性能检测方案 关于绿盟科技 绿盟科技集团股份有限公司（以下简称绿盟科技），成立于2000年4月，总部位于北京。公司于2014年1月29日在深圳证券交易所创业板上市，证券代码：300369。绿盟科技在国内设有50余个分支机构，为政府、金融、运营商、能源、交通、科教文卫等行业用户与各类型企业用户，提供全线网络安全产品、全方位安全解决方案和体系化安全运营服务。公司在美国硅谷、日本东京、英国伦敦、新加坡及巴西圣保罗设立海外子公司和办事处，深入开展全球业务，打造全球网络安全行业的中国品牌。 关于英特尔 英特尔（NASDAQ:INTC）作为行业引领者，创造改变世界的科技，推动全球进步并让生活丰富多彩。在摩尔定律的启迪下，我们不断致力于推进半导体设计与制造，帮助我们的客户应对最重大的挑战。通过将智能融入云、网络、边缘和各种计算设备，我们释放数据潜能，助力商业和社会变得更美好。如需了解英特尔创新的更多信息，请访问英特尔 中国新闻中心newsroom.intel.cn以及官方网站intel.cn。 版权声明 为避免合作伙伴及客户数据泄露,所有数据在进行分析前都已经过匿名化处理,不会在中间环节出现泄露,任何与客户有关的具体信息，均不会出现在本报告中。 “在网络安全隐患日益凸显的大环境下，利用AI技术综合提升Web防护产品的防御能力，来弥补传统规则匹配的Web攻击缺陷已成为业内共识，但AI引擎的加入也增加了对性能的要求。为此，我们基于英特尔TADK打造了针对Web攻击的AI高性能检测方案。该方案具有较高检测准确率及泛化能力，为持续创新开发Web防护产品提供了宝贵经验。” 主任研究员 顾杜娟 绿盟科技天枢实验室 CONTENTS 执行摘要001 1背景与挑战：Web防护解决方案需要借助人工智能来提升效能002 2解决方案：基于英特尔TADK，打造应对Web攻击的AI高性能检测方案005 3方案价值与收益009 4展望011 参考文献013 执行摘要 执行摘要 近年来广受关注的Web防护产品，如Web应用程序和API保护平台(WAAP)等，能在应用层—即开放式系统互联(OpenSystemInterconnection，OSI)模型的第七层提供针对黑客攻击的有效方案。但传统Web防护解决方案通常依靠规则引擎等方法来防御Web攻击，而随着技术迭代速度的加快以及企业业务场景的变化，基于Web应用构建的业务场景具有越来越高的复杂度，使基于规则构建的安全策略的缺陷日益凸显，迫使企业需要不断调整规则来应对攻击者的挑战。然而，这不仅极为依赖专家资源，使运维成本居高不下，同时漏报率、误报率等问题也不断攀升。 得益于人工智能(ArtificialIntelligence，AI)技术的发展，结合AI技术来提升Web防护产品的防御能力已逐渐成为业界共识。借助AI安全分析引擎对Web访问数据进行智能学习和建模，能有效增强识别未知威胁的能力，提升Web防护产品的检测准确率。因应这一趋势，绿盟科技集团股份有限公司(以下简称“绿盟科技”)天枢实验室基于数据智能安全的前沿研究，不断探索将各类AI算法应用于包括Web防护产品在内的安全解决方案中。 为进一步提升融合AI分析引擎的Web防护产品的应用效能，并加速商用化落地，绿盟科技天枢实验室与英特尔合作，基于英特尔流量分析开发工具套件(TrafficAnalyticsDevelopmentKit，TADK)打造针对SQL注入(SQLInjection，SQLI)攻击、跨站脚本(CrossSiteScripting，XSS)攻击的AI高性能检测方案。下述一系列测试结果表明，新方案中基于英特尔TADK获得的AI模型有着良好的检测准确率[1]，并具有较高的泛化能力(GeneralizationAbility)。 001 人工智能来提升效能 0背护景解与决挑方1战案：需W要e借b助防 背景与挑战：Web防护解决方案需要借助人工智能来提升效能 各类Web应用，包括各类互联网站点、企业信息化系统等在为人们的日常生活、企业的业务发展带来更多便利的同时，也正在成为黑客攻击的重要目标。攻击者利用形形色色的攻击手段，诸如SQL注入攻击、XSS攻击等对用户的隐私、企业关键数据进行窃取或内容篡改，不仅严重侵害用户利益，也对企业信息安全造成巨大危害。 为应对新型攻击，越来越多的企业与组织正将面向Web安全构建的高级WebAPI防护、Web应用安全防护等方案放在越来越重要的位置。而这些方案中，基于规则引擎、语义引擎等方法的产品已在市场中获得了广泛的运用。 规则引擎是目前Web防护产品中识别和阻止已知攻击的常见检测方法，具有解释性好、检出问题后有明确处置建议等优势。以业内Web应用防护系统为例，得益于所积累的大量静态规则，系统可对风险特征、行为进行精准防护，具备较强的匹配能力。而当静态规则与基于上下文的动态语义分析相结合时，还可基于规则对网络层、HTTP请求/应答中的已知威胁进行检测，并对基于嵌套编码的攻击进行解码。通过词法、语法进行深层次分析，还可以识别隐藏极深的威胁，弥补基于规则引擎的Web防攻击技术的不足。 随着WEB应用所涉及的技术方案不断迭代、业务流程日益复杂，且应用场景更为多样化，其提供的安全保护也日益受到挑战。一方面，攻击者的攻击频次越来越高，攻击手段越来越多变且日趋智能化；另一方面，规则引擎和语义分析与客户环境缺乏实时关联，使漏报、误报的缺陷也逐渐凸显出来，甚至在0day漏洞防护时显得略为滞后。 AI应用具备自主学习和自我更新的能力，能根据数据的迭代，通过不断学习来对模型参数进行调整，实现自我更新进化。而在Web应用防护中，同样也可借助AI技术，以现网流量数据来自我学习，理解应用的业务逻辑，从而为Web应用建立安全访问基线，成为阻断未知Web威胁的有效方法。通过与规则引擎、语义引擎融合，形成联合防御机制，全新的AI安全分析引擎能有效提升Web防护产品的工作效能。 拥抱智能化趋势，包括绿盟科技在内的安全厂商积极探索在规则引擎与语义分析之上，引入AI安全分析引擎来协同检测Web攻击，进而通过加持AI能力的Web防护产品为Web安全保驾护航。但随着各类AI安全分析引擎在Web防护产品中的运用越来越广泛，也带来了新的挑战。在AI引擎对流量明细、条件参数等进行学习，进而输出算法模型，产生防护“智慧”的过程中，会产生较大的性能开销。特别是在基于深度学习的AI引擎中，参数往往达到 003 绿套盟件科，技打天造枢针实对验W室eb引攻入击英的特A尔I高流性量能分检析测开方发案工具 上万甚至上亿个，训练过程中有着大量张量运算。此时训练过程就会占用较高的处理器资源，使训练过程十分漫长，需要进一步通过优化来提升性能。 为有效应对这一挑战，英特尔与绿盟科技天枢实验室一起展开深入合作，借助英特尔TADK内置的多个优势功能特性与能力引擎，并与其它AI加速技术和AI框架优化进行协同，使基于深度学习方法构建的AI高性能检测方案提升了性能表现及检测能力，从而有力推动AI安全分析模型从实验室走进网络安全攻防实战。 004 应对Web攻击的AI 解特尔决方0T案AD：K基，2于打造英高性能检测方案 绿套盟件科，技打天造枢针实对验W室eb引攻入击英的特A尔I高流性量能分检析测开方发案工具 为了在Web防护产品中构建高性能、高可用的AI安全分析引擎，英特尔与绿盟科技天枢实验室一起，基于英特尔TADK全新打造AI高性能检测组件，并与传统的规则引擎或语义分析组件进行集成。例如，针对Web攻击中最常见的SQL注入攻击、XSS攻击等，英特尔与绿盟科技天枢实验室借助英特尔TADK提供的优势能力，并基于URLNet[2]打造了应对Web攻击的深度学习高性能检测方案。 方案基于内容对流量进行分析。首先，对于Web应用中常见的字符串信息，方案将生成字典(vocabulary)并进行高效的分词(Tokenization)，然后输入到运行在英特尔oneAPIDeepNeuralNetwork(英特尔oneDNN)和OpenVINO工具套件上的URLNet模型中。 在这一过程中，英特尔TADK提供了一系列高可用、高性能的分析工具，例如词法分析库(LexicalParser)、分词器(Tokenizer)等，显著提升了方案性能；而OpenVINO工具套件 对于模型推理的性能加速，也使SQL注入攻击、XSS攻击的判别推理速度大幅提高[3]。与此同时，方案还引入了自动超参数调整能力，这一能力可在确保用户数据精确度的情况下，进一步提升模型推理速率，且不需要用户手动介入，提升了运行效率。 作为高性能的流量分析开发套件，英特尔TADK提供了可在Web应用中部署的端到端AI流水线关键组件，支持对NGINX、ModSecurity等开源软件的集成，并提供了基于AI方法的流量分类、Web应用防火墙等应用能力。 英特尔TADK的架构如图1所示，其核心库由以下六个主要组件构成： 流特征提取库(FlowFeatureExtractionLibrary,FFEL) 可获取数据中的元数据和统计信息，包括数据包特征、协议特征以及词袋(BagofWords，BOW)等； 词法分析器(LexicalParser，Tokenizer) 具有一个基于确定有限状态自动机(DeterministicFiniteautomaton，DFA)的分词器和分词编码器，可通过配置文件/字典来生成运行时的DFA引擎； 流分类器(FlowClassifier) 可执行基于5元组的双向流分类，并具有基于时间轮的流老化机制； 006 解决方案：基于英特尔®TADK，打造应对Web攻击的AI高性能检测方案 协议检测(ProtocolDetection) 可用于检测和解析HTTP、IPv4、UDP、TCP、DNS等常见Web协议； AI引擎(AIEngine) 通过封装英特尔oneDNN、OpenVINO工具套件、英特尔oneAPIDataAnalyticsLibrary(英特尔oneDAL)等，可实现面向深度学习和机器学习的分类器，并提升大数据分析效率； DPI引擎(DPIEngine) 可从TLS流中获取SNI字段和证书字段，并利用Hyperscan对相关规则集进行匹配，对现网流量数据进行分类。 图1英特尔TADK架构 007 绿套盟件科，技打天造枢针实对验W室eb引攻入击英的特A尔I高流性量能分检析测开方发案工具 同时，英特尔TADK还可与英特尔提供的一系列AI加速技术和AI框架优化实现协同， 来为AI安全分析模型的性能提供保障，这些能力既包括在英特尔至强可扩展处理器平台中集成的英特尔深度学习加速(英特尔DLBoost)技术、英特尔高级矢量扩展512(英特尔AVX-512)等AI加速技术和指令，也包括面向英特尔架构优化的AI框架(例如英特尔oneDAL、英特尔oneDNN等)、OpenVINO工具套件等。 例如，在特征提取阶段，英特尔TADK能充分挖掘英特尔至强可扩展处理器中集成的英特尔AVX-512指令集所具备的优化能力，进行实时流量特征提取。英特尔AVX-512在数据寄存器宽度、数量以及融合乘加(FusedMultiplyAdd，FMA)单元的宽度上的优势，可以使方案实现通用计算能力和并行计算能力的双提升，并有效提升吞吐量性能表现[4]。 008 方案价0值与3收益 绿套盟件科，技打天造枢针实对验W室eb引攻入击英的特A尔I高流性量能分检析测开方发案工具 为验证基于英特尔TADK打造的针对Web攻击的AI高性能检测方案的安全能力表现，绿盟科技天枢实验室基于实际流量数据，进行了SQL注入攻击检测和XSS攻击检测的准确性及性能测试。数据来源于绿盟科技的WAF、IPS等防护设备中检测到的真实历史告警数据，告警数据产生时间越久，占比随之越低。 测试基