生成式人工智能与虚假信息：最新进展、挑战和机遇
编者 致谢 本工作由欧盟在“地平线欧洲 vera.ai”项目下共同资助，项目合同编号101070093，英国创新机构（Innovate UK）的10039055号拨款，以及瑞士联邦教育、研究与创新秘书处（SERI）根据合同编号22.00245资助；TITAN项目，项目合同编号101070658；AI4Media项目，项目合同编号951911；以及AI4Trust项目，项目合同编号101070190。 校对和格式化 乔安娜·赖特，谢菲尔德大学 发布于2024年2月 本白皮书在开放获取的许可下提供。创意共享署名-非商业性-禁止演绎4.0国际许可（CC BY-NC-ND 4.0 国际许可）) 目录 1. 引言 .................................................................................................................. 32. 综合生成虚假信息的种类、普遍性和对选举的影响 42.1 AI生成图像和视频............................................................................... 42.2 AI生成音频 .................................................................................................... 62.3 AI生成文本 ....................................................................................................... 82.4 对2024年欧洲选举构成的生成AI威胁：一个重要的案例研究................................................................................................................................ 93. 最近在检测综合生成虚假信息方面的进展 113.1 检测合成和操控的图像和视频 ...................................... 113.2 检测音频深度伪造 ...................................................................................... 133.3 检测机器生成的文本虚假信息............................................... 154. 选取的AI辅助验证专业人士和公民的工具 164.1 InVID-WeVerify插件 ............................................................................................. 164.2 基于AI的辅导媒体专业人士的服务............................................... 184.3 基于AI的辅导公民的服务 .................................................................. 194.4 提升AI内容验证服务的透明度 ......................... 205. 虚假信息与生成AI交叉的伦理和法律问题..... 215.1 数据污染、版权关注和权力不平衡.................................... 215.2 生成AI使用产生的虚假信息风险 ......................................... 226. 前方挑战...................................................................................................... 236.1 生成AI、幻觉和LLM训练数据的质量............................ 236.2 克服公民对AI的错误信任 .......................................................... 246.3 开发新的AI生成内容检测工具............................ 246.4 超越英语：需要新的多语言检测工具 ............................. 256.5 研究人员对数据的访问.............................................. 256.6 研究资金匮乏.................................................................................. 267. 机遇和下一步行动 .................................................................................... 26参考文献 .......................................................................................................................... 29 数字 图5截图如前文所述的《连线》和《BR24》文章（4-5）......................................7图9截图显示OCR组件在Telegram帖子截图上运行，该帖子展示了克里姆林宫首席宣传员弗拉基米尔·索洛维约夫的一段虚假视频，其中检测到文本块、语言识别，以及一键将文本块发送到翻译引擎的可能性。........................................................................................................................... 17图 7: 从10个近期合成图像生成模型估计出的1000个图像残差中得出的人工指纹傅里叶变换（振幅）图，该图说明了由生成模型引入的特殊伪影。图源自（Corvi等，2023b）。······· 13图8截图显示的关键帧碎片化服务（在乌克兰战争期间被英国事实核查机构FullFact等辟谣的虚假视频之一）.......................... 17图 10:界面截图显示合成媒体检测器与一张虚假的美国总统乔·拜登在G20峰会期间疑似睡觉的照片。 ...................................... 18图6：概述MINTIME架构，该架构用于处理视频中的多身份深度伪造检测。图片来源于（Coccomini等，2022年）................................................ 12图1: 图像合成质量在近年来的演变。原始图片由Ian Goodfellow（GANs的创造者）发布于推文，随后由（Masood等人，2023年）扩展，进而再次扩展。 ...................................................................................................................................... 5图3使用MidJourney生成的成为主流的完全合成图像示例。讨论这些案例的文章：a) .................................................................... 6图2：示例：人脸重演、替换、编辑和合成深度伪造。图由（Mirsky & Lee，2021）提供。 ......................................................................... 6图 4截图如前所述的BBC、 Telegraph和Tagesschau文章（1-3）................................................................................................................................................ 7 1. 引言 在过去三年中，生成式人工智能技术（例如DALL-E，ChatGPT）突然从研究论文和企业实验室跳跃到数亿人使用的在线服务中，其中包括学生。仅在美国，根据皮尤研究机构在2023年7月的数据，18%的成年人使用过ChatGPT（）。帕克、盖尔斯-沃尼克，2023). 随着生成式人工智能的流畅性和可负担性逐月提升，其被广泛用于创建低成本、高度可信的大规模虚假信息运动的滥用现象也在增加。AI生成虚假信息的严重例子比比皆是，包括非常有利可图的Facebook广告。1试图通过假的关于摩尔多瓦亲西方总统的视频来影响选民（吉尔伯特，2024). YouTube还被发现托管了带有政治深度伪造视频的广告，这些视频使用了声音模仿技术（RTL Lëtzebuerg, 2023）。除了视频之外，人工智能生成的图像也被用来传播加沙地区的虚假信息（。法国，2023;托斯，2023括号和传播分化的、反移民的叙述《期刊，2023》). 深度伪造音频也被事实核查者报道，迄今为止，这些主要关注政治家的虚假对话和声明（民粹主义者，2023;Dobreva, 2023;博塞夫，2023). 俄罗斯也武器化了生成式人工智能（例如，一段深度伪造 的乌克兰总统呼吁投降的视频）。金塞拉，2023) 一个乌克兰总统及其妻子之间的人工智能生成对话（民粹主义者，2023). 被针对的国家涵盖了整个欧洲联盟（甚至更远），包括高度易受影响的地区，如保加利亚（）。博塞夫，2023;BNT, 2023在公民媒体素养和批判性思维技能水平较低，以及对存在复杂的AI生成图像、视频、音频和文本的认识不足的地区。 平台针对在帖子中及广告中对抗虚假信息的行动，迄今为止在检测和移除有害的人工智能生成内容方面也未能达到预期效果。所有主要社交媒体平台和聊天应用都受到了影响。为了简洁，以下仅列出一些来自Facebook的示例（广告（吉尔伯特，2024), 群组 (《期刊，2023》)，页码（）博塞夫，2023))) YouTube (RTL Lëtzebuerg, 2023），X（）法国，2023;托斯，2023)，Instagram（ ）法国，2023;托斯，2023)，抖音（TikTok）（ ）AFP, 美国 & AFP 德国，2023;Marinov, 2023）和Telegram（Starcevic, 2023;Marinov,2023). AI 生成内容（例如，声称在保加利亚操纵选票的虚假音频）Dobreva, 2023))) 也正通过电子邮件发送给媒体和记者，意图诱骗可信的机构发布虚假内容。 此外，不仅生成式AI被用于低成本地创建高度欺骗性的虚假信息宣传活动，其存在和能力还被那些传播虚假声明的行为者武器化，他们宣称来自政府和主流媒体的原始图像、视频和音频内容实际上是伪造的。一个最近的例子是针对特斯拉的一场法庭诉讼，在该案件中，公司律师声称一段埃隆·马斯克的视频是深度伪造（deepfake）。《卫报》& 路透社，20