从应用落地到安全护航：Agent 系统的开发实践与可信防御

中国大模型发展与应用安全

政策与市场现状

• 中国大模型产业布局呈现三级阶梯格局，北京、上海领跑全链发展。
• 451个生成式人工智能服务已完成备案，市场处于从“技术扩散期”向“场景深耕期”过渡的关键节点。

AI Agent定义与特性

• AI Agent定义：以大语言模型为核心决策中枢，能自主分解高层次目标为可执行子任务，通过规划、推理与自我反思，灵活调用工具与外部世界交互。
• 行业拐点：从能聊天发展到能干活，安全可控和透明流程成为关键安全隐患。
• 安全关键问题：LLM无法区分指令和数据，当指令与数据混淆且满足特定条件时，易产生重大风险。

Agent安全架构设计

• 纵深防御体系：
  • L5-用户与运营层：身份认证、权限管控、安全意识教育。
  • L4-日志与风控层：日志审计、行为监测、风控策略联动。
  • L3-Agent核心逻辑层：安全沙箱、工具调用权限校验。
  • L2-应用网关层：Prompt防火墙、恶意指令改写。
  • L1-模型与数据层：模型自身安全对齐、训练/RAG数据清洗。
  • L0-基础设施层：漏洞收敛、供应链投毒监测。

可信实践与开源合作

• 模块化、透明可信的Agent框架架构：
  • 推理与行为决策可信任执行。
  • 校验的可验证推理路径，行为路径可回溯追踪。
  • 标准模块化辅助套件，插桩置信点位。
• 开源合作：
  • 平台安全领域垂类粉丝2万余，举办AIGC识别对抗挑战赛等比赛。
  • 安全+Agent应用：0.75Day漏洞与修复追踪，拓展了0day与1day的分类。
  • Agent应用生态：标准化功能元件的agent生态。

研究结论

• 中国大模型发展受政策驱动，市场处于关键过渡期。
• AI Agent安全面临指令与数据混淆的挑战，需构建纵深防御体系。
• 可信实践与开源合作是提升Agent安全的关键路径。