概要
政务大模型是专注在政务领域的行业大模型，通过检索增强生成或模型微调等技术手段，使模型更加贴合政务的特点和需求，为政府决策、公共服务带来变革。然而，其应用也伴随着数据安全、训练语料安全、模型安全、应用安全、软件供应链安全、生成内容、大模型自身等七个主要风险类型。安全治理框架是保障其安全、合规运行的基础，需满足合规要求、建立完善安全机制、提供安全技术保障，涉及组织建设、制度规范、安全测试评估、基础安全措施、数据安全、大模型安全、开发安全、运行安全与内容风控、运行监测等方面。政府、企业、研究机构、监管机构等需协作，形成良性互动生态体系。
生成式人工智能快速发展，政务大模型为数字政府赋能
生成式人工智能是人工智能技术发展的重要方向，大模型推动政府迈入智能化，提升政府服务水平，优化决策制定，加强政府内部协同，提升城市治理能力。政务大模型应用广泛，包括公共服务（智能政务咨询和办事指引）、政务办公（公文写作、文档处理、会议纪要整理、内部知识管理）、城市治理（分析城市运行大数据，预测和识别问题）等场景。各地已开展应用实践，如北京亦庄经开区、北京市生态环境局、广东省政数局等。政务大模型以通用大模型为基础构建，通过知识增强、模型微调或增量预训练等方式，提高对政务行业的领域知识。应用形式和模型适配具有多样性，包括对话机器人、AI智能助手、Agent智能体等，以及知识增强、模型微调、增量预训练等模型适配方式。
政务大模型安全风险分类
政务大模型应用伴随潜在风险，涉及用户、应用、内容风控、数据、模型、公网使用等方面。主要风险类型包括：
- 数据安全风险：数据违规收集、违规使用、数据泄露、勒索风险、标注规则风险、标注人员风险、标注数据质量风险。
- 训练语料安全风险：数据投毒、内容违规风险。
- 大模型使用安全风险：使用不合规的基础模型、生成不当内容风险、模型泄露风险、模型篡改风险。
- 应用安全风险：代码安全风险、代码泄露、Web/API攻击风险。
- 软件供应链安全风险：开源软件漏洞、恶意代码植入、供应商管理不善、模型复用的缺陷传导风险、恶意植入模型后门。
- 生成内容风险：内容违反社会主义核心价值观、侵犯知识产权、泄露个人信息、包含歧视内容。
- 大模型自身风险：提示注入攻击、拒绝服务攻击、提示词泄露、通用越狱漏洞。
政务大模型安全治理框架
安全治理框架是保障其安全、合规运行的基础，需结合模型应用的实际场景，逐步推进。框架包括：
- 合规要求：遵循《网络安全法》《数据安全法》《个人信息保护法》《生成式人工智能服务管理暂行办法》等法律法规。
- 安全机制：组织建设（统筹、业务、支撑、监管四方）、制度与规范（市区两级协同联动机制、分类分级管理制度、全过程安全管控制度）、安全测试与评估（数据集安全评估、生成内容安全测评、模型及应用安全测评、安全措施评估、定期监测与抽查）。
- 安全保障：
- 基础安全保障：纵深防御、身份管理与授权。
- 数据安全：数据来源合规、内容安全合规、敏感数据识别过滤、训练数据标注安全、数据分类分级与安全保护、数据访问控制。
- 大模型安全：模型训练安全、模型资产保护、模型安全评测、模型登记备案、模型分类分级管理。
- 大模型应用系统开发安全：需求阶段、供应链安全、数据准备阶段、模型适配阶段、应用开发阶段、上线部署与评审。
- 运行安全与内容风控：生成内容风控（输入内容过滤、输出内容审核）、应用安全（Web安全防护、API安全防护、应用访问控制、个人信息保护）。
- 运行监测：大模型监管沙盒体系、风险监测与事件处置。
政务大模型风险控制关键举措
- 大模型分类分级安全管控：制定分类分级安全管理制度，依据分类分级评定结果，部署切实有效的安全措施。
- 大模型与应用系统安全测试与评估：事前、事中、事后全流程管理，由第三方专业机构进行安全测试和评估。
- 内容风险控制：建立多层次的内容审核体系，综合运用自动化检测与人工审核机制，全面过滤风险内容。
- 数据安全风险控制：系统探索政务大模型业务场景下的数据安全保护和隐私保护措施，综合运用多种手段建立完善的数据安全保护体系。
- 监管沙盒机制：建立大模型安全监管沙盒体系，对政务大模型训练数据的流动进行全方位、实时的监控和管理。
政务大模型安全治理展望
大模型监管逐渐规范，行业细化规范，政务大模型需遵守通用大模型以及人工智能方面的法律法规，并可能出现专门的行业监管标准。政务大模型安全生态建立，安全产品和服务不断完善，包括合规咨询服务、安全测试与评估服务、安全培训服务、应急响应服务、持续监测服务等，以及内容过滤产品、模型保护安全产品、大模型伦理审核产品等。
