2024年6G网络面向大模型的分布式学习白皮书

6G智能普惠与MFD分布式学习模式

6G智能普惠的断言

• AGI服务普及：大模型技术持续演进，预计6G时代AGI服务将普及。
• 智能服务成本接近零：规模理论驱动大模型服务成本下降，未来将接近零。
• 个人大模型拥有：大模型将分布式部署在终端和网络，用户将拥有个人大模型。
• 网络传输内容转向模型：大模型参数量激增，数据传输成本高，未来网络传输将以模型为主。

面向大模型的MFD分布式学习模式

• 联邦学习挑战：依赖中心节点、通信开销大、异构支持性差。
• MFD模式：模型跟随数据（ModelFollowData），模型像IP包一样传输，支持异构模型知识分享，轻量化自组织学习流程。
• MFD关键特征：
  • 模型像IP包传输：高效传递模型参数，避免数据隐私和通信开销问题。
  • 模型自由缩放：根据设备算力和数据规模调整模型尺寸。
  • 支持异构模型知识分享：通过知识蒸馏或生成模型实现跨设备知识共享。
  • 轻量化自组织学习流程：模型自行决策传输路径和参数更新，降低管控复杂度。

MFD应用示例

• 智能协作机器人：社区机器人通过MFD共享知识，优化任务执行和模型更新。
• LM4Net站间协同：基站通过MFD实现站间模型协同，提升网络性能和任务适配能力。

总结与展望

• 6G网络需原生支持大模型分布式学习，MFD模式是理想方案。
• MFD涉及算法设计和网络架构设计，需进一步研究标准化和产业化。