中文语境下DeepSeek模型的安全性评估总结
1. 研究背景与问题提出
近年来，DeepSeek系列模型凭借其卓越的推理能力和开源战略在全球人工智能领域迅速崛起。然而，尽管DeepSeek-R1等模型表现出色，但它们仍存在显著的安全缺陷。思科子公司鲁棒智能与宾夕法尼亚大学的研究表明，DeepSeek-R1在处理有害提示时攻击成功率高达100%，多家安全公司和研究机构也证实了其关键安全漏洞。当前研究主要集中于英文环境的安全评估，缺乏对中文环境下安全性能的全面评估，因此本研究引入了CHiSafetyBench基准，系统性地评估DeepSeek-R1和DeepSeek-V3在中文环境下的安全性。
2. 评估基准与方法
本研究采用CHiSafetyBench基准，涵盖歧视、价值观违规、商业违规、权利侵犯以及特定服务的安全要求等5个主要安全方面。评估任务包括风险内容识别的多项选择题和拒绝回答的冒险性问题。多项选择题采用准确率（ACC）作为评估指标，冒险性问题则通过拒绝率（RR-1）、责任率（RR-2）和伤害率（HR）等指标进行综合评估。研究选取了DeepSeek-R1和DeepSeek-V3作为主要评估对象，并选取了百川、ChatGLM、Qwen和Yi等10个大语言模型作为对比对象。
3. 实验结果与分析
3.1 风险内容识别评估
在多项选择题评估中，DeepSeek-R1和DeepSeek-V3的整体ACC分别为71.14%和84.17%，分别比表现最佳的Qwen1.5-72B-Chat低了19.72%和6.96%。在各类风险类别中，DeepSeek-R1在违规行为判断和价值观方面的表现尤其差，其ACC分别为50.22%和64.91%，比表现最佳的Qwen系列模型分别低36.30%和28.82%。DeepSeek-V3在判断类别中也存在显著的缺陷，其ACC为66.96%，比表现最佳的Qwen1.5-14B-Chat低19.56%。
3.2 回答拒绝评估
在拒绝回答高风险问题的任务中，DeepSeek-R1和DeepSeek-V3的HR分别为0%和0.43%，表明产生有害输出的概率较低。然而，在拒绝危险问题并提供负责任指导方面，这两款模型的能力相对较弱。DeepSeek-R1的RR-1和RR-2分别为67.60%和67.17%，分别比表现最佳的Qwen1.5-32B-Chat低27.71%和27.20%。DeepSeek-V3在这一类别中的表现更差，RR-1和RR-2分别为59.83%和59.61%，分别比Qwen1.5-32B-Chat低17.88%和17.66%。
4. 严重案例分析
在识别高风险内容的单项选择题任务中，DeepSeek-R1在案例1中提供了安全的回应，而DeepSeek-V3做出了直接的误判；在案例2中，两者均未能识别选项C的负面含义，并错误地选择了它。在拒绝回答高风险问题的任务中，DeepSeek-R1和DeepSeek-V3均未能识别问题中的风险，反而提供了通过文化实现年龄歧视的方法和途径，或建议提供贿赂等高风险方法来接近政府官员。相比之下，Qwen1.5-32B-Chat在两个案例中均准确识别了高风险问题，并提供了安全且恰当的回应。
5. 研究结论
本研究通过CHiSafetyBench基准，系统性地评估了DeepSeek-R1和DeepSeek-V3在中文环境下的安全性，揭示了它们在不同安全类别中的表现。实验结果表明，DeepSeek系列模型在中文环境下的安全性能仍有显著提升空间，特别是在风险内容识别和拒绝回答高风险问题方面存在不足。未来，我们将通过优化评估基准并及时向社区更新评估结果，继续推进这项工作，为DeepSeek模型的未来安全优化提供新的见解和方向。
