鲁棒声纹识别的对抗防御

第四届声纹识别产业发展与创新研讨会 鲁棒声纹识别的对抗防御 Robustspeakerrecognitionagainstadversarialattacks 张晓雷 西北工业大学2024年3月29日 目录 一、研究背景及研究意义二、声纹对抗样本攻击三、声纹对抗样本防御四、总结 声纹验证 声纹认证 声纹日志 Z.Baietal.,“SpeakerRecognitionBasedonDeepLearning:AnOverview,”NeuralNetworks,2021. 声纹识别有广泛的应用空间 身份认证与安全会议日志与纪要国安与司法 声纹识别系统在遭受攻击时表现出一定的脆弱性4 声纹识别系统在遭受攻击时表现出一定的脆弱性 5 声纹对抗样本攻击不改变声纹统计特性 Hi,Siri. VoiceAssistants e.g.Siri 利用声纹识别系统本身的脆弱性，攻击方式具有隐蔽性6 目录 一、研究背景及研究意义二、声纹对抗样本攻击三、声纹对抗样本防御四、总结 方法 优点 缺点 基于梯度/优化（白盒） 攻击成功率高、信噪比高 需要访问模型结构，迭代计算对抗扰动，生成对抗样本的时间长 基于查询（黑盒） 不需访问梯度，仅靠置信度或决策就可以实现攻击 攻击成功率较低；查询过多时容易被检测到 基于生成网络（白盒） 测试阶段不需访问梯度；生成对抗样本的时间短 攻击成功率和信噪比难以平衡 基于迁移性（黑盒） 不需要访问目标模型结构，具有现实意义 对抗样本迁移性弱，黑盒攻击成功率低 注：白盒：攻击者了解被攻击的系统的细节黑盒：攻击者不了解被攻击的系统 提高攻击性：改进白盒模型 提高迁移性：迁移学习+集成学习 提高模型透明度：剖析模型决策过程 SymmetricSaliency-basedEncoder-Decoder(SSED) •Saliencymaploss: •Angularloss:Finalloss: (Here,isthespeakerembeddingofvoice) 10 JiadiYaoetal.SymmetricSaliency‐basedAdversarialAttackToSpeakerIdentification,IEEESignalProcessingLetters2023. JiadiYaoetal.SymmetricSaliency‐basedAdversarialAttackToSpeakerIdentification,IEEESignalProcessingLetters2023. 12 JiadiYaoetal.InterpretableSpectrumTransformationAttackstoSpeakerRecognition,IEEETASLP,2023. 13 单模型攻击 JiadiYaoetal.InterpretableSpectrumTransformationAttackstoSpeakerRecognition,IEEETASLP,2023. 14 多模型组合攻击 JiadiYaoetal.InterpretableSpectrumTransformationAttackstoSpeakerRecognition,IEEETASLP,2023. 目录 一、研究背景及研究意义二、声纹对抗样本攻击三、声纹对抗样本防御四、总结 方法 优点 缺点 研究方向 混合训练 声纹识别模型自带防御功能 模型训练规模大，对抗样本造成声纹识别模型精度下降、泛化能力依赖于所使用的对抗攻击种类 改进训练数据的合成方法 纯化 对任何样本都可以进行有效声纹判定 对任意样本都进行语音纯化 （增强），可能造成声纹识别系统性能下降，泛化能力依赖于所使用的对抗攻击种类 提高语音纯化质量 检测 不改变样本 被误判的纯净样本会被丢弃 改进检测模型 注1：混合训练和纯化本质相同，但是混合训练需要修改声纹识别模型 Diffusion模型纯化 两阶段diffusion模型纯化 白盒攻击结果黑盒攻击结果 纯净语音 19 提高纯化防御的泛化能力是未来亟待解决的关键问题 大语言模型驱动的diffusion模型纯化 S.Chen,etal.Textual‐DrivenAdversarialPurificationforSpeakerVerification,submittedtoInterspeech2024. 基于规则Mask的对样样本检测 掩模方法基于规则的掩模1基于规则的掩模2 基于可学习Mask的对样样本检测方法实验 训练方法：无需知道对抗样本，对攻击方法具有通用性 22 防御能力相对提高超过30% 实验条件：12种attacker （包括白盒和黑盒攻击）2种声纹识别系统 5种比较方法 目录 一、研究背景及研究意义二、声纹对抗样本攻击三、声纹对抗样本防御四、总结 五、总结 •声纹对抗攻击 •白盒攻击 •基于显著性检测的对抗样本生成 •黑盒迁移攻击 •基于MDCT变换的对抗样本迁移性增强法 •声纹对抗防御 •对抗样本纯化 •基于Diffusion模型的三种纯化方法 •对抗样本检测 •基于规则的通用对抗样本检测 •基于可学习掩模的通用对抗样本检测 第四届声纹识别产业发展与创新研讨会 谢谢！ 张晓雷 西北工业大学2024年3月29日