AIGC专题：生成式+AI时代的网络安全

生代了解当的今的网安全环络A境在I安如时何变全化 目录0简1介→ 0网2络→罪犯会如何使用生成式AI 人才的作用 0A3I如→何充分发挥投入网络安全的时间和 0保4护→AI：风险和建议 84% 的AI高的管网计络划安优全先解考决虑方生案成。1式 3 01 简介 网的络组安织全尝领试导这者种正变面革临性着科生技成时，式虽A然I的这挑项战科。技当可他以们推动整AI个可企能业带的来生的产潜力在大风幅险提和高威，胁但。他这们包必括须从控意制外生数成据和威泄胁露到。黑客操纵AI执行恶意任务带来的各种风险 织中造成安全漏洞。1 约使用48生%成的式高A管I来预助计力，近他一们半的的日员常工工将作在。2明然年而用，这几种乎科所技有可的能企会业在领未导来者3(年96内%在)都他表们示的，组采 险，而不是增加风险。3 去美年元，全美球国数为据94泄8露万的美平元均，企成业本需达要到降4低45风万 声音，创建恶意软件和窃取数据。 雪得上生加成霜式的AI是以，赋黑予客企预业计的将相采同用速生度成、式规A模I，和获先对进性性的网。使络用钓生鱼成电式子A邮I，件黑，客模可仿以受创信建任更用具户针的 幸已运投的资是于，机为器了学最习大(限ML度)等地传利统用时AI间解和决人方才案，的们网可络以安利全用领生导成者式可AI以工利具用来A保I进护行数反据击和用。他 户，并检测和阻止潜在的攻击。 这对事挑关战，重并大充。我分们利创用建生本成指式南AI是的为弹了性帮。我助们您探应讨式，了以攻及击您者应可如能何使使用用生这成些式科A技I来更攻好击地您保的护方自己整个。最企后业，我的们AI提训供练了数一据个、模框型架和来应帮用助程您序保。护 下一章4 02 网络罪犯会如何使用生成式AI 生规成模、式精A度I可和能先会进像性其等可益以处为一企样业，让提攻供击速者度受、益新手。生的成技式能A，I降还低将门提槛高，可即能使缺是乏新技手术黑专客长也的可以件在活全动球。范围内发起恶意网络钓鱼和恶意软 在研途径准究备人。应员对发这现些生威成胁式时AI，相您关应攻该击考的虑两网个络主安要全 生成式AI相关攻击的主要途径 攻击您的组织攻击您的AI 上一章下一章5 攻击您的组织 使更用快大地型进语行言更模多型攻击(L，LM从)电，网子络邮犯件罪网分络子钓可鱼以活已动久，到但创黑建客恶将意手软动件任代务码转。尽移管到这LL些M威所胁获由得来 –更络多钓网鱼络旨钓在鱼实，现更与多人点类击设：尽计管的网AI络设钓计鱼的相网同并的增目加标其，网但络它钓成鱼为活一动种的可工以具让。这攻种击情者况加会速 频的威胁。在这些攻击中，犯罪分子可以将 深网度络伪安造全的领音导频者担心生成式AI深度伪造音在线获得的说话者声音的录音输入到LLM 这所种听新到攻的击似方乎法是的合术法语的，是但“网事络实钓并鱼非如3.此0”。，您网络间安使全用专的业安人全员代可码能来需确要认通身过份，一打系击列这个种人形之式 的技速能度短和缺规的模网可络能安会全使团已队经不面堪临重持续。4人手和 内创建逼真的网络钓鱼电子邮件。5他们还发 AI究设计员的证网明络，钓利鱼用生成式AI可以在几分钟现钓，鱼这攻些击电方子面邮经件验几丰乎富与的那人些创在建社的会电工子程邮网件络一可样以有挑效战准。这备些最电充子分邮的件组非织常。有说服力，甚至 –增目加标用式户网错络误钓点鱼击：攻恶击意者电可子以邮使件用的生可成能式性。 者的语言风格。 A料I，聊从天而机获器得人对来目研标究受受害害者者生的活在方线式个的人宝资贵洞说察服分力析的网。这络些钓聊鱼天电机子器邮人件还，模可仿以目生标成受极害具 中如，L他L们M可以使生用成公他司们首想席要执的行任官何的音声频音。例给首 席账财户务支官付留一言张，伪指造示的他发们票向。攻击者控制的银行 音，生成可以欺骗听话者以泄露敏感信息的话 可以通过拦截实时通话，实时克隆说话者的声 IBM”呼已叫经。证IB明M，的攻一击名者研可究以人实员时表进明行“，攻音击频者插语来做到这一点。例如银行账号和网络密码。 的多网层络次攻的击网络。这安种全方提法示将。为员工的生活增加更 上一章下一章6 攻击您的AI 黑上客是罪利犯用可您能的会AI尝来试对攻付击您企。业他们AI可模以型通，实过际将恶想意做训的练事数来据对注您入的A“I模投型毒并”。迫例使如A，I他做们他可们能会对让聊您天的机器AI人对产供生应仇链恨做。出他错们误可的以预通测过，使或用者基露于机语密言财的务提信示息，来创“破建解易”受您攻的击L的LM软，件使代其码泄， 并应为建您议的。安全分析师提供错误的网络安全响 对让您您的的AA“II来投对毒付”您可能是网络罪犯的最高愿望用于。这训可练能L很LM难的做数到据，“但投并毒非”不，攻可击能者。通可过以对使其成出功现的故攻障击或可恶能意是行制为造，虚而假不信会息被或发对现关。键一基次 础客设能施够发访动问网训络练攻数击据。但如是果，这这些些数攻据击是要封求闭黑、可如信果和您安的全AI的模，型这是些在攻开击源就数很据难集进上行训。但练是的， 破有解了您LL的M，L英LM语基本上已经成为一种编程语Py言th。o攻n击和者Ja无va需）来掌创握建传恶统意的软编件程来语破言（坏如计算LL系M统做，他而们是想可做以的使事用情自。然即语使言有提护示栏来，攻命击令者也的可安以全使和用审这核些功提能示。为来了绕更过好或地破了解解A攻I模击型者上如 何提操示纵多个LLLML，MIB：M®X-Force研究人员6成功地 对您的A“I投毒”的门槛就会低得多。 –泄创露建有易关受其攻他击用的户恶的意机代密码财务信息 –提供较差的安全建议 上一章下一章7 51% 高络管安们全表预示算，比他2们02210年23增年加的了A5I 1网%。 2021 他增们加预43计%到。1 2025年，这些预算将再 2023年 2025 上一章下一章8 03 A全I的如时何间充和分人发才挥的投作入用网络安 除许了多外内部挑战。可，网以络填安补全整领个导行者业还空面缺临职着位的70人0,0太0少0个了。——4此外据，一敏项感政数府据估激算增，，空基缺础职设位施达复问杂题性都不使断网增络加安，全攻领击导面者不及断其扩团大队。所更有难这保些护 数千、种管威理胁用。户访问以及应对他们每天面临的 每(SO天C，)近分三析分师之的一时(间32都%花)的在安调全查运和营验中证心最终报只数能量审太查多他，们S应OC审团查队的成警员报在的正一常半的(4一9%天)中。7 被证明是虚假威胁的事件上。7事实上，由于警 这能种会工产作生状严态重不的仅网会络打安击全员瓶工颈的。事积实极上性，，大还多可 数减分慢析了师工作(8速1%度)。表7示，每天的手工调查工作 上一章下一章9 的优点是公认的： 最解近决，方网案络应安对全这领些导挑者战一，这直些在解使决用方传案统使的用AIM织L自来身帮的助安S全O需C求分推析荐师应评对估措风施险，。并这根种据方其法组 –广泄泛露采方用面耗AI费和的自时动间化平的均组缩织短在了发1现08并天遏。制3 –领信，先并的将A检I采测用时者间正缩在短监了控三分95之%一的。网8络通 –广万泛美采元用。3AI和自动化的组织节省了近180 上一章下一章10 userid:529794,docid:170359,date:2024-08-02,sgpjbg.com 生成式AI作为网络安全的增力因素 方面它尚未触及：网络安全。 2织0中23的年潜，企力业。生领成导式者意AI识开到始生改成变式企业AI的在几其乎组每户个和角员落工，体从验供..应链你管好理，（聊通天过机预器测人分。但析有）到一客 接下来的12个月将改变这一切。 根络据安全IB方M面商的业研价究值，研64究%院的关高于管生已成将式网A络I在安网 全确定为生成式AI用例的首要任务。9此外， 大人多表数示人他了们解计这划些优科先技考的虑商生业成价式值AI，网84络%安的全解决方网案络，安而不是传统的言网，络安全解决方案业务。1合方案作伙。伴和高级管理层，让他们接受这些解决 6式高AI管4用已例将的%网首络要安任全务确。定为生成 上一章 下一章 11 生应成用式于企AI业在其应他用领于域网一络样安成全为领业域务时加，会速像器其，在 多人个才方。生面成最式大A限I度可地以利代用表安分全析团师队管的理时和间自和动 –自事动件化的报简告单：摘这要些，工然具后可以创将建摘安要全与案组例织和中 的据各他种们安的全技和术业专务长领水导平者和共感享兴趣。摘的要领可域以进根 –整理威胁情报：生成式AI工具可以解释和险状况，筛选出最有可能影响客户的活动。 总结最相关的威胁情报，根据客户独特的风 更容易地完成更具挑战性的任务。 执络行安重全复的、更耗具时战的略任意务义，使的他方们面能。够专注于网生成式升安AI全还可以通过简化复，杂使的他技们术更性快内而容且 您安在全寻运找营生时，成需式要A考I解虑决的方一案些以特在定短用期例内包增括强： –行加定速制威胁。搜寻：这些工具自动生成搜索以检测的威自胁然，语所言有描这述些，这都有基助于于对加攻快击对行新为威和胁模的式 –响解应释速机度器生。成的数据：为了帮助分析师快速理发解生安的全事日件志进数行据了，简这单些的解解决释方，从案而对加系快统了上分壁析垒师。的调查速度并降低了新员工的技术 展动望响未应，来并，生随成时式间推AI移还对将响能应够进学行习优和化创，建例主如，帮所代码助有安受。全影团响队的发系现统、所修有补类所似有的易安受全攻事击件的、更软新件 上一章下一章12 04 保护AI：风险和建议 过安全代码和实践训练的风险。 L模L采M用为时企是业主用要户的提网供络的安速全度风和险易。用当性工在程大师规和发分软析件师脚使本用时，生他成们式增A加I来了帮AI助可创能建没代有码接和受开 上一章 对组织的潜在影响 仓促的数据安全实践 软件供应链风险幻觉 数据泄露黑匣效应 13 仓企促业的急数于据使安用全LL实M践，有时忽略了数据安全最佳制实。践和标准，包括加密、驻留和特权访问控 软企件业供可应能链会风在险错误的代码上进行构建和创新，这和些商代业码软通件过组从件供汇应编商而那成里。行购业买中的的开常源见代故码障和险潜暴在露可水利平用。的软件缺陷可能会造成新的风 幻使或觉用幻觉LLM风生险成，的可代能码会构损建害的源软代件码有的包完含整错性误和多安样全化、性平。衡为且防结止构此良问好题的，您数的据组上织训应练使的用A在I模提型示，。以组避织免的AAII模工型程不师得应不尽做可出能假具设体或地在给缺出乏培细训，节严的格地评方估创L建LM细生节成。而的且代他码们，以应确该保接输受 出质量。 上一章14 能会暴露敏感信息并削弱模型性能。 数如治据果理，泄没无露有论对A第I解三决方方AI案引的擎数进据行分适割当或的保监留督策和略户如的何风，险组。织新都的有提将示机注密入数和据提暴示露泄给漏未攻授击权可用 黑部匣分效AI应处理发生在黑匣中，这意味着安全领导和者可及解其释团性队。如会果缺不乏遵其循所正需确的的可软见件性工、透程明实度践是，这您个的问组题织会要带有来一特套别AI的治风理险方。法至，关可重以要帮的助其何跟以踪及模为型什生么命产周生期其中所的产性生能的，结并果解。释模型如 上一章15 随安础着全采指型、用南生将AI趋规于模成I的熟扩。大一所和个创用于新于的的保数发护据展可集，信网基络 架模对于企业成级式AAI至及关其重要基。下面是一些的应框与 安全团队分享的最佳治理和技术实践。 04保护AI：风险和建议 AI框架的安全性 构建值得信赖的AI 16 保保护护数AI据训练数据免遭盗窃、操纵和违规行为。 –使用数据发现和分类来检测训练或微调中 保通护过模扫型描管道中的漏洞、强化集成以及实施策 确通取保过或使检推用测理安数攻击据或时提发示出泄警漏报，并确在保规AI避模、型投的毒使、窃 –使在用加的密、