中国人工智能安全全景报告(State of AI Safety in China)

核心观点

• 中国在人工智能安全领域的研究投入和产出显著增加，尤其在 LLM 去学习、生物和化学领域 AI 的滥用风险以及评估 LLM 的“权力寻求”和“自我意识”风险等方面。
• 中国积极参与国际人工智能治理，签署了布莱切利宣言，并与法国发布联合声明，与美国建立政府间对话，显示出主要大国在人工智能安全问题上的共识日益趋同。
• 中国国家政策和领导层对发展大型模型的同时平衡风险表现出日益增长的兴趣。
• 中国正在制定国家人工智能法，其中包含人工智能安全的条款，例如对基础模型进行专门监管，并规定 AGI 的价值对齐。
• 中国的 3 个最大人工智能中心所在地的政府已发布关于 AGI 或大型模型的政策，主要旨在加速发展，但也包含国际合作、伦理以及测试和评估等条款。
• 中国的专家们最近讨论了几个重点人工智能安全话题，包括 AI 不得跨越的“红线”以避免“存在风险”，人工智能安全研究的最低资金水平，以及人工智能对生物安全的影响。

关键数据

• 过去 6 个月平均每月有近 15 篇关于前沿人工智能安全的中文技术论文。
• 报告确定了 11 个关键研究小组，这些小组过去一年撰写了大部分相关论文。
• 中国已签署布莱切利宣言，并与法国发布联合声明，与美国建立政府间对话。
• 自 2022 年以来，中国与西方国家举行了 8 场关于人工智能的 1.5 轨道或 2 轨道对话，其中 2 场专注于前沿人工智能安全和管理。

研究结论

• 中国在人工智能安全领域的研究投入和产出显著增加，与国际社会的共识日益趋同。
• 中国正在积极制定国家人工智能法，并采取措施加强人工智能安全监管。
• 中国的专家们对人工智能安全风险的认识不断提高，并开始探讨更深入的话题。