AI 时代深度伪造和合成媒体的安全威胁与对策

核心观点

• 深度伪造和合成媒体安全发展阶段：经历了大众认知、监管介入、技术对抗和立法明确四个阶段，每个阶段具有持续性并可能重叠，体现了安全治理的复杂性和长期性。
• 技术影响：深度伪造和合成媒体技术具有高仿真、自动化和高隐蔽性，在个人娱乐、教育、影视制作等领域具有巨大潜力，但也带来了虚假宣传、名誉损坏、财产损失、道德伦理和安全威胁等多重风险。
• 政策法规：美国在深度伪造立法方面最为积极，我国也积极推进相关政策法规制定，如《网络音视频信息服务管理规定》、《互联网信息服务深度合成管理规定》等，以维护国家安全、社会公共利益和公民权利。
• 市场现状：我国深度伪造和合成媒体安全市场规模在2023年达到1.19亿元，预计2024年同比增长243%，达到4.08亿元。主要采购客户为监管方、金融、媒体集团、银行和运营商。市场主要参与者包括研究侧（金融机构、科研院所、高校）和服务侧（网络安全企业、AI企业、内容运营商）。
• 消费者认知：大众对深度伪造和合成媒体技术有所了解，但识别虚假内容存在困难，普遍对此技术存有好奇心，但也担忧其可能引发的诚信问题。
• 技术原理：深度伪造和合成媒体技术主要基于计算机图形学（CG）、自编码器（AE）、人工神经网络（ANN）、生成对抗网络（GAN）和扩散模型（DDPM）等原理。
• 安全威胁：对个人层面，可能造成隐私泄露、身份盗用和声誉损害；对社会层面，可能导致虚假信息扩散、舆论操控和诚信危机；对国家层面，可能引发政治传播、经济挑战和国际冲突。
• 检测技术：目前主要分为主动式防御（信任类）和被动式防御（检测类），检测类是应对深度伪造对抗的主要形式，常用技术包括数字水印、区块链认证、可信硬件、基于内容本身的检测方法、基于深度学习的检测方法和多模态融合的检测方法。
• 市场趋势：未来市场规模将快速增长，企业和大众将更深刻地感受到深度伪造和合成媒体安全带来的挑战，技术创新和应用创新将双轮驱动行业发展，国内技术短期领先，长期发展需全生态协同推进，“融合”是关键词。

关键数据

• 2023年我国深度伪造和合成媒体安全市场规模1.19亿元，预计2024年同比增长243%，达到4.08亿元。
• 2020年是资方看好深度伪造和合成媒体创新厂商的主要时机，瑞莱智慧、深信科创获得天使轮投资，中关村科金获得股权投资。
• 2024年获得投融资的两家企业为中科睿鉴和瑞莱智慧，两家企业均为国家队成员。
• 深度伪造专利申请人主要是高校，占比57%，其次是企业和科研院所，分别为27%和16%。
• 深度伪造专利申请主要集中在2022年和2023年，专利法律状态主要集中在等待（实审提案、年登印费），占比71%，真正获得专利权有效的申请者占比只有22%。

研究结论

• 深度伪造和合成媒体安全是一个复杂且长期的问题，需要监管机构、内容方、消费者和技术提供商共同努力，构建一个融合共治的生态系统。
• 技术创新和应用创新是推动深度伪造和合成媒体安全行业快速发展的关键，需要加强产学研合作，促进技术产业化。
• 多模态融合检测方法是未来发展方向，可以有效提高深度伪造检测的准确性和鲁棒性。
• 消费者需要提高安全意识，积极学习相关防范知识，并期待深度伪造检测工具的进一步落地。