Physical AI Agent：人形机器人平台的具身智能安全威胁建模

Physical AI Agent人形机器人平台的具身智能安全威胁建模

背景

• AI发展路线从数字AI转向具身智能，风险从信息层扩展到物理层。
• 英伟达AI路线三段式演进：感知/生成式AI → Agentic AI → Physical AI。
• 数字Agent结构基于ReAct循环：Agent = LLM + Memory + Tools + While-Loop。
• Physical AI需要具备身体与环境交互能力，架构包括Brain（慢思考）、Cerebellum（快反应）、Body（物理接口）、Memory（多层记忆）和Loop（混合回路）。

Physical AI迈向具身智能

• 两种元架构：反应式（极快、规划式更稳）。
• Physical Agent架构需包含Brain、Cerebellum、Body、Memory和Loop。
• 里程碑目标：机器人作为人类伙伴长期共存，分为工具、助手、照护和伙伴四个阶段。

威胁建模

• 系统化建模对象：人、机器人物理环境，区分Owner、Shared、Attacker等。
• 安全资产分五层：人身安全（最高）、隐私、行动权限、认知、信任。
• 攻击面从交互入口到数据闭环，L1交互与信任、L3认知规划、L5行动执行是风险最高层。

L1交互与信任入口层

• 攻击场景：语音/人脸伪造、旁路命令、环境注入、多用户冲突、身份漂移。
• 防护原则：风险分级认证，多因子身份确认（语音/视觉/场景/设备/位置/历史关系）。

L2世界感知层

• 攻击场景：对抗样本欺骗摄像头/物体识别、提示注入、传感器干扰、空间地图污染、蒙蔽世界模型/VLA。
• 防护原则：多传感器交叉验证与人在环确认，高风险感知结论需人工确认。

L3认知与规划层

• 攻击场景：提示注入、目标劫持、不安全分解。
• 防护原则：三权分离，Planner/ Safety Policy/ Controller分权，Safety Policy约束每个子动作。

L4记忆层

• 攻击场景：记忆投毒、空间/规则污染、事件污染、隐私抽取、跨用户泄露、记忆越权。
• 防护原则：记忆分级+记忆透明+Policy，不同类型记忆（公共/个人/敏感）分别定义读写权限。

L5行动与执行层

• 攻击场景：动作命令注入、急停失效、安全限制关闭、路径诱导、诱导危险动作。
• 防护原则：VLA不直接控制电机，动作分级+急停，World Model预期与Safety Policy Check。

L6数据闭环与训练层

• 攻击场景：训练数据投毒、遥操作数据污染、隐私泄露、模型被替换。
• 防护原则：数据最小化、本地脱敏、敏感场景不上云、用户可选择退出训练、训练数据访问审计。

威胁场景举例

• 用户身份认证：语音/人脸伪造、旁路命令，通过风险分级二次确认拦截。
• 语义模糊致预期偏离：模糊指令拆解出危险子动作，需Safety Policy和World Model约束。
• 物理世界的Prompt Injection：环境本身成为注入面，需多传感器交叉验证与身份分级防护。

六条核心防护原则

1. 风险分级认证（L1）
2. 多传感器交叉验证与人在环（L2）
3. 三权分离（L3）
4. 记忆分级+记忆透明+Policy（L4）
5. 世界模型与Safe Policy（L5）
6. 本地优先（L6）