一、人工智能安全可分为内生安全（AI Security）和衍生安全（AI Safety）。内生安全指人工智能系统自身存在的脆弱性，可能导致系统运行出现问题，无法达到预设的功能目标，包括供应链安全、数据安全、算法安全三个层面。衍生安全则是指人工智能技术的脆弱性被利用，虽然其自身能够正常运行，但是危及其他领域的安全，包括应用安全和伦理安全两个层面。
二、人工智能安全风险分析。当前人工智能安全的主要风险和应对手段包括：
- 供应链安全：高端芯片断供风险、硬件本身存在潜在的安全隐患、软件供应链脆弱性、潜在的漏洞与后门问题。
- 数据安全：训练阶段的数据投毒风险、数据标注不规范风险、推理阶段的数据泄露风险、攻击者反向恢复训练数据。
- 算法安全：算法缺陷导致系统偏离预期、算法黑箱阻碍监管审查、对抗性攻击诱导系统错误判断、算法模型容易被窃取。
- 应用安全：人工智能赋能网络攻击、人工智能合成虚假内容、人工智能带来军事威胁。
- 伦理安全：人工智能冲击传统道德观念、人工智能造成群体失业、人工智能算法含有歧视偏见、人工智能带来自主决策风险、人工智能引发知识产权争议。
三、人工智能安全解决方案和技术趋势。业界在数据安全、算法防御、生成内容检测与溯源、模型透明度提升等领域展开了深入探索，通过多样化的技术手段为人工智能系统提供全方位的安全保障，包括：
- 数据安全与隐私保护：机密人工智能、联邦学习。
- 算法安全与模型防护：对抗性机器学习、模型水印技术。
- 人工智能生成内容检测和溯源：AIGC 检测技术、AIGC 水印技术。
- 人工智能透明度和信任构建：可解释人工智能、人工智能对齐。
四、人工智能安全测评趋势。随着人工智能技术在关键领域的广泛应用，系统的安全性和可靠性成为保障其长远发展的核心需求，安全测评作为人工智能技术落地和信任构建的重要环节，包括：
- 人工智能安全测评标准：国内外均取得了一些重要进展，例如我国发布了多项数据安全标准，国际标准化组织（ISO）也发布了一系列人工智能安全标准。
- 人工智能安全测评平台和工具：综合性人工智能安全测评平台、对抗性攻击工具、模型内部检查与透明度工具。
- 人工智能安全测评未来展望：标准体系规范与国际化发展、技术创新与多元化发展、测评方案定期更新与监测动态化发展。
五、促进我国人工智能安全发展的对策建议。针对我国实际情况，报告提出了以下建议：
- 构建多层次的人工智能安全治理体系：建立多元的人工智能分类分级管理机制、建立人工智能全生命周期的透明度管理制度、明确人工智能各主体责任，强化协同管理、建立动态监管机制。
- 加快技术研发与自主生态建设：推动人工智能安全技术的发展、构建自主可控的人工智能供应链生态。
- 完善人工智能安全标准与测评体系：健全人工智能安全标准体系、构建多层次、多场景的人工智能安全测评体系、推动与国际标准的对接。
- 加强伦理引导与公众教育：完善人工智能伦理治理机制，推动行业自律与协同合作、提升公众对人工智能技术的认知与能力。
