多智能体强化学习大模型初探-郝晓田

多智能体决策大模型面临的挑战

基本概念

• 合作式多智能体系统：多个参与主体合作优化目标函数，常见于游戏AI、智能仓储、车辆协调等场景。
• 合作式多智能体强化学习：通过多智能体马尔可夫决策过程（MMDP）和去中心化部分可观测马尔可夫决策过程（Dec-POMDP）建模。

挑战

• 维度灾难：状态观测空间和联合动作空间随实体数量指数增长。
• 学习样本效率低。
• 通用性和泛化能力差。

多智能体强化学习大模型及其优势

多智能体强化学习大模型

• 设计具有较好泛化性的模型，一个模型可以解决多个类似问题。

大模型带来的好处

• 在自然语言处理、计算机视觉等领域已取得突破性成果。
• 强化学习领域：通过更大、更好的模型提高性能并减少运行时间。

动作语义网络与置换不变性、置换同变性

动作语义网络（Action Semantics Network）

• 考虑不同动作对其他智能体的影响，设计基于动作语义的神经网络。

置换不变性与置换同变性

• 处理具有相同类型的智能体时，构建对实体顺序不敏感的函数，显著降低状态/观测空间维度。
• 动作分为实体相关（如攻击、治疗）和非实体相关（如移动）两类。

跨任务自动化课程学习

自动课程生成（PORTAL）

• 自适应选择任务以优化学习序列。
• 通过评估回报选择难度适中的任务，并基于任务相似度实现策略迁移。

实验结果

• SMAC挑战：实现了100%的胜率。
• MPE和Google足球环境：展示了不同场景下的应用效果。

总结

• 提供了简单但高效的置换不变性和置换同变性模块实现。
• 作为任何多智能体强化学习算法的插件模块，提升性能。
• 达到典型多智能体强化学习基准的最优结果。