包沉浮：百度基于大模型安全运营的质效提升实践

基于大模型的安全运营质效提升实践 演讲人：包沉浮 目录 01 背景和挑战 02 系统设计与实践 03 未来展望 背0景和挑战 大模型时代的网络安全 大模型加速社会数字化、智能化转型的同时，也带来更严峻的网络安全挑战 大模型的规模引发新的安全风险 •算力、数据、算法的规模持续爆发 •系统复杂度和场景应用的丰富度持续增长 •引入新风险类型的同时，传统安全风险倍增 大模型技术可被用于网络攻击 •大模型生成恶意代码和自动化攻击 •利用生成内容进行社会工程攻击 •绕过传统安全防护和检测机制 大模型为网络安全行业带来机遇 微软SecurityCopilot 深信服XDR+GPT 奇安信Q+GPT 网络安全厂商x的 大模型产品 360安全大模型 … 安全运营 数据安全 开发安全 大模型在安全领域的应用场景 邮件安全 自动化渗透测试 … 大模型在安全运营场景的潜在应用 安全运营：通过技术、流程和人员协同工作，持续监控、检测、预防和响应各种网络安全威胁的过程，确保组织的系统、数据和网络的安全 告警研判 响应止损 溯源调查 修复加固 报告生成 对告警进行研判分析对事件进行响应止损对安全事件分析还原 调查事件始末 提供修复加固建议生成事件报告 多级纵深威胁感知及防御对抗 四层边界 七层边界 主机系统 容器环境 应用进程 服务层 生产网（IDC） 主机60w+、容器数量1000w+ 办公网（OA）设备数量10w+ 告警研判-百度安全运营核心环节 20+ 告警来源大类 OA:EDR、邮件、AV、AD、NTA等等IDC:HIDS、RASP、蜜罐等等 1,000+ 告警规则 仅Splunk规则800+ Yara规则、自定义脚本等多种规则类型 100,000+ 每天新增告警 无效告警多 真实攻击很可能淹没于其中需安全专家手动研判分析 告警研判质效难以保障 专家稀缺 告警疲劳 工具分散 标准参差 可满足告警研判能力要求的安全专家数量有限 大批量、长时间告警研判造成疲劳，尤其节假日 手动分析效率低重复工具切换 不同专家研判质量不同标准和投入度不稳定 探索引入大模型技术，提升告警研判质量与效率，完善和优化研判流程 02 系统设计与实践 安全运营场景大模型应用的挑战 端到端大模型研判方案面临的问题 部分告警类型适应性差 错判漏判混杂 针对不同风险的告警，具有特殊性或复杂性，统一的处理流程无法覆盖所有告警，部分告警类型适应性比较差，易发生误报和漏报 研判过程不可控 大模型依赖数据决策，考虑到训练数据的偏差性，研判环境的动态性，大模型研判思路通常与实际研判过程差异较大，大模型实际研判思考过程不可控，导致研判结果不受信任 综合分析能力不足 大模型无法全面覆盖所有安全威胁的分析能力，可能忽略告警数据细节，缺乏额外的分析视角和数据来源，整体研判的准确性和全面性受影响 大模型决策无法百分之百准确，告警漏判错判并存，为防止遗漏，告警通常需要人工参与确认，AI结论发挥作用不大 缺乏决策透明度 安全域 知识 查询 大模型 输入 输出 所有告 警类型 研判 结果 大模型决策缺乏透明度，解释有限，表达方式随机性强，研判依据不够明确，阅读耗时，影响大模型研判结果的直接采纳 研判能力评估困难 告警黑样本需长期收集，对于新发风险类型，真实环境黑样本数量稀少，占比低，多样性不足，研判能力上线前缺乏有力的离线评估结论 02 系统设计与实践 大模型告警研判方案 适应不同告警类型 研判过程可见可控 告警信息全面分析 无风险遗漏 决策透明度高 研判能力充分评估 百度安全大模型研判方案 AI尚未支持该类别，直接人工研判 线 在实时告警 告警时间：XX告警 基于大模型的综合研判 面向无风险遗漏 AI研判结果 可解结果类型 确定无风险： 直接采纳 增强 研告警来源：XX分发 判告警详情：XX AI研判要点动态发现 工具调用 的AI综合研判知识增强 释性AI建议：XX风险点：XX分析：XX 疑似风险：人工研判 AI研判：分类别研判流程模版 账号告警AI研判流程 扫毒告警AI研判流程 风险命令告警AI研判流程 邮件告警AI研判流程 历史全量 离告警数据 线建 告警分类及能力建设 AI研判流程规划 告警类别子集 钓鱼邮件类 风险命令类 、 工具及知识建设 AI工具建设常规工具接入 基于AI的多样性 攻击数据生成 模拟告警 告警时间：XX 告警来源：XX 设优先级分析 扫毒类 账号类 … 研判数据补充 通用知识收集 告警详情：XX 告警分类及能力建设优先级分析 通用告警研判能力，对部分告警类型适应性差，易发生误报和漏报问题。因此，基于观测到的告警数据，按告警对应的规则分类，统计不同类型的告警表现，采用抓大放小的原则，确定告警研判能力构建优先级，逐一建设覆盖不同类型的告警研判能力。 告警频率历史占比 历史全量 规则获取规则分类 统计结果研判能力构建优 告警数据 上升风险 先级 近期表现 对应规则 分类 历史告警总量 本周告警数量 历史占比 威胁等级 优先级 ***重保账号***异常告警 账号 3**** - 10.89% 低 4 ***类钓鱼邮件**** 邮件 1**** 2*** 6.61% 中 2 ***Drop_Suspicious_Files*** 扫毒 1****(2****) 3***(4***) 5.93%(9.80%) 高 1 *****_with_base64 命令 1**** 3*** 3.97% 中 3 temporary_directories****** 扫毒 1****(2****) 1***(4***) 3.87%(9.80%) 高 1 说明：括号内为按类型统计数据 动静结合的AI研判流程规划 直接采用大模型研判，研判思路与实际运营研判过程差异较大，导致AI研判结果不具有说服力。基于专家经验和告警数据具体情况，控制大模型研判思考过程，完成不同告警的研判流程规划。 沟通整理 思路约束工具约束格式约束 AI流程 选择研判告警类别 查询 专家经验 研判要点 整理 研判工具列表流程生成案例生成 离线研判流程生成 流程固定的告警类型 类别 研判流程 具体告警数据 研判流程分发 流程变化的告警类型 类别 研判流程 AI研判要点 动态发现 具体案例的研 判流程 在线研判 告警规则AI分析 类别研判流程 AI研判流程规划-具体案例 工具列表 工具名称 工具描述 钓鱼邮件研判流程，属于研判流程不固定的告警类型。通过离线能力建设，建设钓鱼类研判流程；获取具体告警数据后，在要点发现环节完成流程补充，形成具体研判流程，开展研判。 告警规则 规则名称 专家经验 规则意图 确认 告警数据 字段 具体数据 提供 flowchartTD 确认 flowchartTD 命中条件告警字段 研判要点推荐工具 Alert[告警]-->A[重要实体提取工具] A-->B[提取出邮箱?] B-->|是|C[官方邮箱研判]A-->D[提取出邮件主题?]D-->|是|E[邮件名研判] A-->F[提取出邮件发送数目?] F-->|是|G[邮件发送数目判断] C-->H[综合研判工具] E-->H G-->H 告警规则工具列表 专家经验 告警数据 Alert[告警]-->A[重要实体提取工具] A-->B[提取出sender_address?] B-->|是|C[官方邮箱研判]A-->D[提取出message_subject?] D-->|是|E[邮件名研判]A-->F[提取出recipient_count?] F-->|是|G[邮件发送数目判断] A-->H[提取出IP?] H-->|是|I[IP信誉查询工具]C-->J[综合研判工具] E-->J G-->J I-->J 钓鱼类研判流程 研判流程规划 钓鱼类具体研判流程 研判工具建设 邮件告警 工具需求 工具集建设 抽取信息 官方邮箱研判 人工抽象 邮箱判断工具 内容判断工具 语义理解类 内容研判 IP研判 信息获取类 信息查询工具 综合研判 其他 结论 AI要点发现 IP研判 在研判能力构造过程中，通过沟通专家经验，人工发现工具需求；或者利用大模型的AI研判要点发现能力，允许大模型创造工具需求。针对工具需求，选择基于AI的语义理解能力，结合信息获取类工具，实现AI工具建设，或者接入常规工具能力，完成研判工具集建设。 研判能力 建设 工具需求 “建什么” 专家经验沟通 人工抽象 研判流程规划 AI要点发现工具建议 工具集建设 “如何建” AI工具建设 常规工具接入 钓鱼邮件案例 环境知识构建 研判要点分析环节，除了对工具的使用外，还需要获取知识，尤其是环境知识，进行研判需要信息的补充。为此构建底层资产图谱，从机器，进程，文件，人员，场景等方向刻画研判环境。 面向无风险遗漏的AI综合研判能力 选择以精确判白、无风险遗漏为目标的重风险召回AI研判，确保对有风险的告警100%召回，运营人员可以信任AI研判的无风险结论，仅对AI报风险的告警进一步研判，提升研判效率。 重风险召回的AI研判 风险分析说明 无漏召研判原则阐述 综合AI研判prompt 研判结论/风险提示 大模型Review 当前告警研判结果 相关告警研判结果 综合结论 历史相似告警结论 钓鱼邮件告警研判 加密执行告警研判 扫毒类告警研判 其他 判白精确率 100% 100% 100% … 线上白样本覆盖率 50.2% 100% 92.7% … 可解释性输出模板设计 邮件告警 抽取信息 IP研判：无风险 官方邮箱研判 邮箱：非官方 内容研判 IP研判 内容：存在诱导 前端展示 逻辑 综合研判建议：关注 分析过程：详细分析过程 结论 流程图-过程数据存储 prompt控制输出格式 钓鱼邮件案例 大模型决策缺乏透明度，表达方式随机性强，研判依据不够明确，影响大模型研判结果的直接采纳。设计可解释性强的输出模版。 研判流程存储 研判流程规划 无风险点提示 要点分析 风险点汇总 综合研判结果 建议和分析过程 基于AI的多样性攻击数据合成 日常告警数据中，高风险告警数量比例极低，收集到的高风险告警多样性不足，因此，告警研判能力上线前，通常缺乏大量数据支撑的评估结论，是当前告警研判能力建设的难题之一。利用大模型合成多样性攻击数据，实现研判能力充分评估。 告警规则 确保数据格式正常 样例数据 模型能力保障 数据多样性 合成的多样性攻击数据 确保数据存在风险 Prompt Base64执行命令攻击数据合成 5% 5% 21% Python OpenSSL 11% Bash Perl 11% Ruby Node.js 16% PHP Shell 11% Go 10% 10% 攻击数据类型占比 确保告警被触发 百度安全大模型研判效果 研判能力覆盖的告警类型，线上告警量降低到原来的18.8% 研判建议展示区 研判要点分析展示区 研判过程展示区 AI建议标识外部展示区 03 未来展望 大模型原生的安全运营中心 由自动化向智能体化 自动化 智能化 智能体化 人工整合处理 告警聚合 实体聚合 信息抽取 AI AI AI 安全信息自动化辅助 解决特定安全信息辅助任务 安全运营任务智能化辅助 人工确认 流安 程全 智工 能具 编调 排用 知识增强引擎 推理增强框架 安全大模型 解决特定安全运营任务 安全运营智能体化辅助 人工确认 告警研判智能体 事件处置智能体 资产评估智能体 其它安全智能体 意图识别智能体 覆盖安全运营多场景任务 大模型原生的安全运营中心 安全运营中心设计从以人为中心、AI（大模型）为辅助的理念，转向以大模型为中心，人为辅助的理念 告警/事件统一接入 情报/漏洞/资讯接入 BI报表 接口层 安全大模型——智能引擎 告警管理智能体告警规则