LLM驱动数字安全——2024年AI安全系列报告

LLM驱动 2024 数字安全AI安全系列报告 LLM-DrivenDigitalSecurity 电编号：CWC_20240507 ✲鲁方向：AI安全 ✲告类型：研究✲告 ✲告名称：LLM驱动数字安全 ✲告编号：DWC_20240507 ✲告信息 UMd数安全 主笔分析师：新鹭量（战略分析师&合伙人） 分析团风：数世咨询-数字安全研究院 智库支持：效字安全百人会 ✲告审核：李少腾（首常分析师&创始人) ✲鲁期号：DWC_20240507常1汽共46员 阅读须知 >本✲告✁研究方向案焦于如何通过LLM（LargeLsnguageModel）齐紧载 我国效字安全，以及怎样应用效字安全这一重直额域✁各类LLMs齐初实提 升我国数字安全能力，关于LLM自身✁安全性，以及如何保障各类LLMS 乐和应用✁实全并不是本✲告创✁克间，相关内弃款请关注数世管询后 续AI安全（LLM基仙安全，AI治理等方向）相关研究. >本✲告分析使用✁相关数据（载止日期2024年4月7日）以两方面获取一是公开信息✁收集，二是相关供应商✁沟通， >据数世咨询组略统计，现阶段国内兵备LLM研发或应用能力✁数字安全供 应商有28家左右，本次人选✲告✁有17家，有些具备LLM相关应用能方 ✁供应商并未出现在本✲告中，是国为通过课人✁沟通后，自于供应商经营战略以及品库建设和产品规划✁原因，等不添合参与本次✲告。 >本✲告谢研✁供应商包措两类，一和数世咨询保持有效沟通✁，二是通过 公开信息搜寻✁，如果有具备L山LM相关✁安全应用能力但并未收到数世咨 研邀请✁供应商，欢迎联系本✲告主笔分新师（16601182683微信同 号）进行交流 累专号，DAC_22240507第2真夫46 》具有AI研究能力， 本✲告入选标准 UUM驱d数全 >具有LLM驱动数字安全✁自主研发能力， >投人了一定规模✁资源，如算力，人力等， >产品具备商业化能力，已有真实落地或试用案例。 >接受数世咨沟✁谢研与访液，并承诺美供数器✁真实性。 ✲售期号：DC_20240507 第346 UUM驱d数宇全 安全大模型卓越能力供应商 （孩品牌字母排序字） N安恒信息 C-AITN 海云安H3C AI超均安全 吉大正元金睛云华GcloudNSFOCUS 9美亚相科墨云科技奇安信2360字安全 S信AN服GF科OR技微步在线”无起无极众智维科技 服含器号，DWC_20240507第446 关键发现 UM驱d数实全 ， 一虽然“安全大模型”(LLM驱动✁安全能力）✁应用还处在早期阶段，但用 户方面已经展现出较强✁采购意惠，这样✁现发主要来源于LLM通现出✁ 新兴能力在安全运营中实现降本增效✁合理预期，以及用户内部创新研究✁资效率引. 9） 一LLM提升了交互性并较大✁增加了可部释性和推理能力，“安全大模型✁出现有助于安全价值可视化与用户体验两方面实现质✁飞联 慎仿人✁思维两方面，在单纯✁攻防技术层面，尚末发理期覆性✁创新与应 用， 高投人服务于高价值，现阶段由于我国数字化程度✁不充分以及安全工作价 值✁不直观，高投人✁L山LM并不运用于所有安全场景，较高✁投入产出比和较多✁适川方间为“大型+小模型”，即“安全度宫”。“要全大实型”✁应用主要集中在攻防对抗驾能化，政脉将深度化，安全势识科普化和安全运营效率化4个方面，少量安全专项能力应用，集中在数 据分析和代码应用2个方面， 中展现出强大✁能力，有效降低了数据打标过程中✁资源投人，基本替代了人力劳动，极大缩短了项目实能时间。 从全球范国来看，由于效字化建设程度和治理模式✁区别，我国“安全大模 全大模型”✁资源投人，算力雷求和应用性能之间作出权衡，但这也以侧面激励了其应商对原训练数据和指令读整✁质量进行不斯免化，来减少训练计算量和推连算力， 现阶段我国“安全大模型”✁发展主要受制十算力资源聚张，长久齐看则取 决于安全法治、AI基础研究和科技治理（开案、开改）✁发展， 累3→,DAC_22240507第5真夫46 LLMd&全:“安全大模型”未来✁发展方向是能解决多场景✁关联任务，即“安全指挥 官”，高领形态需具备多模态和多类型安全逐辑✁“安全AGI”能力 4号。DAC_20240507常6x表460 第1部分LLM与数字安全✁关系 UUM驱d数全 如说军事实力、经济实力是全球范田内大国博奔所使用✁一对翠头，那么在世 界格局动幕百年术有之大变局中，抢占AI(ArtificialLntelligece，人工智能） 高地就是额主之争✁战略目标，因为AI可以让孕头打得更准、打得更疼。 1950年，艾伦·图灵提出了图灵测试✁低念，指出如果一个机器能够在人类无 密区分✁程变上模货人美✁对话，那久款可以说这个机器具有智能，由此开始 专家系统、神经网路直到领度学习✁兴起，一次次✁推动誉AI浪剂。 2016年，AlphaGo击败了臣祺世界冠军李世石，AI一石激起千层浪引起了全现 范E内对AI应用✁广泛讨论，发展至今，AI已经利用机器学习，自然语言处担、 计算机视党，人机交互等核心能力对人类生产和生括方式造行了诺多期覆性✁改造，包括但不限于：(以下回客由“豆包”提供) AI在一整领确实具有限量性✁作用，可能会能读改变人们✁生活和工作方式，以下量一些可能妥男重大影响✁领减 +自动驾较：A驱动✁自动驾波技术有可能改变文酒运编行业，超高交通安全和效率。 ，医疗保建：A可以辑结获病诊断、药物好发，基至退供个性化✁医疗方案， +金需服务：A可以用于风险管湿、信用评估和投要建议，可能改查全融行业✁运作方式。 +教育：个性化学习、智常辅导和数学评估等A安用可常会重塑教育损式， +制造业：智能工厂和自动化生产可能会提高制造主✁效军和灵活性， 艺求与娱乐：A生成✁内客，如音乐，给通和文学作器，可能会就或传统✁创作损式 当然，这叠领域✁资革并非一鼠西就，还需要技水✁适一少发展相相关法律、伦理等问题✁解决。 你觉得恶个领✁题量性作用最让你感到慢还更 自2022年开始，在自然语言处理舒中✁LM(LargoLanguageModel）✁突装 性进展文一次路人炎带来了巨大✁冲击，以ChatGpt3，DALL，E3，Son为代表 ✁研究成果使得人类距高实现AGI[ArtificialGeneralIntelligence，通用人工智能) 更进一步，而最近Derin和Figure-1✁发布，将“硅基生命”✁未齐再一次清围 合号：DAC_20240507第了真45 ✁展现在“碳基生命”眼前， UMd数安全 加LLM在实能各产业✁同时也在逐彩成自身✁产业生志，我国巨经在国家层 面确立了LLM发展✁战略高度。同吋，国内文心一言。通义千间，虽火、盘古、 云案.✲元.360奇元，智请清言，百川，MaanshetAI等LLM也在不断✁成长 着，毫搭社区中更总浓现出个人开发者在LM应用上✁百花齐放. 回到数字安全领域，有关LLM✁研究和讨论主要包含LLM安全（AI治理，AI安全防护方向）和LLM驱动安全两类 LLM与数字安全 Alf伦理 AI治理内音安全隐私保护 LLM安全基码设陷 算法 AI安全防护数据 软件供匠站 社会工理 LLM驱动安全 安全能力改通安全场景欧能 LLM安全方面，除AI基础设链.款件供应链，社会工程与现有数字安全技术 ✲4号。DWC_20240507 第8共46 UM驱d数实全 ） 解决方案具有高✁四配性外，其他方向✁数字安全技术，群决方案均雷根据 A工理和1M原理进行升级以人根本上解缺安全间题，才第体现出令人意✁ 效果， 数世咨询认为，在AI治理以及相关算法和数损安全这几个细分赛道，术米会谢4一批以LLM研发为核心能力✁新兴数学安全供应商，并成长为传统数学安全供定我✁主要觉争者 LLM驱动安全方面，是数字安全供应商创新能力和技术沉淀✁最佳战场，也悬本次✲告✁核心关注点，利用LLM对安全能力进行改造以及各类安全项章账能是现阶段最其技术可行性和应用落地性✁方式 效世咨询认为，通过LLM✁账能，可以有效提升各类安全场景中✁工作效率 造应并匹配新质牛产力✁特性要求，真正实现高质量发展和高水平安全✁目标 更为重要✁是，只有LI.M驱动✁数字安全才能对抗利用II.M✁数字协。 1.1LLM✁新兴能力 作为自然语言处理领城✁重大突被，LLM革新了人机交互，知识获取、内容生或方式，这些变车✁产生，主要源于LLM新兴能力✁涌现，而数字变全也止是 利月这些新共能力，改变了用户✁体验， LLM✁新兴能力是在小型模型中不存在但在大型膜型中出现✁能力、这是区分LLM与以前✁PLM（跌训练语育要型）收显著✁特点之一，主要表现为当概型规慢送到一定水平时，性能显蓄高于通凯情说，很多人习慎用复款系统中出现✁ 念亲理解， 》上下文学习（in-contextLeaming.ICL）：在提示中为语言恢型提供自然语 指令和多个任务示例，无需显式✁训练或梯度更新，仅输入文本✁单词序列就能为溯试样本生成预期✁输出， >指令募括(lrstuctianFollowing）：通过使用自然语言描述✁多任务示例数据 号：DAC_20240507第946 UUM驱d数全集进行索谢（措令激词或益督微词），大讲言模型可以在没有使用显式示例 ✁情况下接照任务措令完成新任务，有效提升了模型✁泛化能力， 逐步推理（Stcop-by-stcpRcasoning）：对于小型语言模型而言，通常很难解 决涉及多个推理步聚✁复杂任务【如效学应用医），而大语言模型则可以利 用思维链（Chain-of-Thought,CoT）提示策略来加强理性能，其体齐说 大语言模型可以在提示中引人任务相关✁中间推理步需来加强复杂任务✁求年，从而获得更为可靠✁答案 1.2什么是数字安全大模型 WTT（WTT）， 1.2.1数字安全大模型定义 额域✁应月， 财于数字安全领锁 >专业能力包后：案码学，社会工程学和攻防对抗知识，以改专业级变会数括 （或助情✲、安全运营信息等）和实网作股经验【实网攻防能力、应急处骨 能力等），专业能力✁造弱决定了“安全大英型✁应用效果 >法律适应性（或者人类价值观对齐）特点：由于“安全人模型”和递用大慎型在受众（如安全运营人员），使用范函（如内网）方面✁差异，在对齐调整上可以采取一些简单粗旷✁方法（例如输人控制，敏感间过端等）齐减少整体资源投人，在现阶段基至可以屏蔽非数字安全相关内容✁输出， 12.2数字安全大模型✁构成 效字安全大模型由基础能力（通川模型，美供基础知识和LM新兴能方）、专业留方（安全领域✁知识和群决间题✁逆辑）、扩能力（利川辅助工其和可视化）三方面构成 号：DAC_20240507第10汽共46 UUM驱d数全 t# 算力 M 基础能力 48用激防技术 安全研究 安全大模型✁构成专业能力安全强 实网对期 安理验 工A 扩晨能力 对于道川模墨，现阶段大部分效字安全供应商都运择开源LLM(LLa和Qwe 居多），少部分规模较大✁企业会完全自主训练，对于一定规模之内（例划10B) ✁LL.M来说，自主训练✁模型可能在安全知识✁理解和问答上其备一定优势，固为读训额数据中安全效据✁占比会比一般通用模型高，但模型规模较大（例如 ✲售期号：DC_20240507第11夫46 IB以上）时，因为用于锁训练✁安全知识以及安全数据自身数量有限，自主训 练✁慢垂优办几乎不复存在，反而会出现资遵消耗过大✁负而影前，除非数效学安全供应商随够自主开发出针对安全知识和逐辑✁专用算法，模型架构，否则只第使月开源适月LLM. 对于安全数据，精雅✁样本。广泛✁情✲，具体✁方法，这些都是在安全大模型读训练过程中决定“安全大榜型”召商✁关键所在，也是实现“安全大慎型”在 具体使月过程中提质增效✁重点， 对于安全经验，掌损相关算法和架构✁知识，才能训练或讲整基仙模型，其到模需解缺了人机交互和逆辑提理✁能力问送，其备数字安全实战经验✁专家将自牙 经验转化成词整代码学习实例，才能解决安全专业额域✁问题，人✁创造力和 应月方解决安全大慎型可持续发