一、“AI换脸”技术构成及危害
“AI换脸”技术，又称“深度伪造”，基于人脸识别、关键点检测、图像/视频合成、生成对抗网络（GAN）和增强效果技术构成。其危害主要体现在：
- 生成“换脸”视频和图像：用于诈骗、勒索、诽谤等，例如香港跨国公司员工被骗2亿港元，留学生“虚拟绑架”案。
- 合成真人音频：用于诈骗、身份冒充等，例如内蒙古包头市诈骗案，伪造福州科技公司法人代表声音骗取430万元。
- 伪造文本信息：用于制造假新闻、假消息、假账号等，加剧网络钓鱼攻击，例如电子邮件钓鱼欺诈。
二、常见的“深度伪造”欺诈类型
- 伪造账号造谣传谣：利用“深度伪造”创建高度定制和令人信服的内容，难以识别和检测。
- 冒充熟人进行诈骗：模仿目标人视频、声音等，取得信任后进行诈骗，例如香港跨国公司员工被骗案。
- 伪造身份申请银行贷款：利用“深度伪造”创建虚假身份，申请银行贷款，例如美国合成身份欺诈增长迅速。
- 让“网络钓鱼”更加难以识别：“深度伪造”技术使钓鱼攻击更复杂，难以检测，2023年深度伪造网络钓鱼欺诈事件激增3000%。
- 冒充他人远程面试入职：利用“深度伪造”制作虚假面试人，骗取企业薪资、盗取商业机密。
- 冒名登录盗走银行余额：利用“深度伪造”技术登录用户银行账号，拦截验证码进行转账、消费等。
三、“深度伪造”的产业链
- “深度伪造”欺诈过程：包括骗取受害人信任、盗录人脸信息、登录银行账户、转走银行余额四个阶段。
- “深度伪造”欺诈上游：利用GitHub、暗网等平台获取技术工具，制作虚假图文与视频，例如GitHub上超过3000个相关存储库。
- “深度伪造”欺诈下游：利用秒拨IP、模拟器、改机工具、注册机、群控等工具，在多个平台实施诈骗。
四、识别检测“深度伪造”的音视频
- 人的行为与生物识别：要求对方进行特定动作或回答只有对方知道的问题，利用语音分析软件识别语音异常。
- 设备与操作识别：利用数字签名、设备信息、地理位置、行为操作等进行比对识别，例如顶象设备指纹技术。
- 技术识别与取证：利用深度学习模型、AI取证工具、自动文档验证系统等进行识别和取证。
- 社交防范与公众教育：减少社交媒体上敏感信息分享，加强公众教育，提高警惕性。
五、对抗“AI换脸”欺诈的安全策略
- 社交媒体场景下的安全策略：精准识别欺诈账号，检测注册过程中的风险，识别使用设备的异常行为，监测异常行为。
- 银行信贷场景下的安全策略：采用多因素身份验证，实时监测异常操作行为，利用AI挖掘潜在风险账户。
六、国家监管与相关法律法规
全球多个国家和地区出台法律法规和倡议，加强“深度伪造”技术的监管，例如中国《生成式人工智能服务管理暂行办法》，美国《安全、可靠及可信赖的人工智能》行政命令，欧盟《欧盟人工智能法案》等。
七、哪些机构需要负起责任
- 社交媒体：应负责及时删除用于欺诈的深度伪造内容，加强平台监管。
- 金融机构：应加强对“深度伪造”骗局的防范，例如英国引入强制性赔偿计划。
- AI工具提供商：应使用技术减少“深度伪造”的可能性，例如增加数字水印等。
八、关于情报作者
顶象是国内领先的业务安全公司，提供一站式业务安全感知防御云，帮助企业构建自主可控的业务安全体系，防范化解各类网络黑灰产风险。
