预训练图神经网络：以数据为中心的一些思考

预训练图神经网络中的负迁移问题及解决方案

核心观点

预训练图神经网络（GNN）在无标签数据学习方面具有潜力，但在下游任务中可能引发负迁移问题，近45.5%的下游任务受此影响。研究重点在于确定预训练时机和优化预训练策略。

研究路线与关键问题

1. 预训练时机：现有研究集中于如何预训练，但未明确何时进行预训练。预训练需确保下游数据能从预训练中受益，即数据需能被预训练数据生成的图以高概率生成。
2. 图生成器选择：关键在于如何获得合适的图生成器。方法包括：
   • 输入空间：节点级（自我网络）和图级（如图分子）。
   • 下游空间：发电机空间中所有由生成器生成的图。

W2PGNN 方法

• 预培训可行性定义：下游数据从发电机空间中生成图的概率。
• 可行性近似方法：
  • 拓扑图基础：根据图拓扑结构分割并估计各部分。
  • 域图基础：从不同域分割图并估计各部分。
• 实验结果：
  • W2PGNN 估计的可行性在多数情况下排名最高。
  • 可行性与最佳下游性能强正相关。
  • W2PGNN 选择的预训练数据表现优于使用所有预训练数据。

大数据现象的诅咒

研究发现，对于预训练GNN，大量输入数据并非必要，甚至可能恶化泛化性能。大数据现象在图预训练中存在诅咒：更多训练样本和图数据集不一定会提升下游性能。

以数据为中心的优化策略

• 数据活动图预训练（APT）：
  • 图选择器：选择最具指导性的样本和图进行预训练。
  • 协同进化：预训练模型与数据共同进化，通过预测不确定性反馈模型对数据的理解程度，优先加强不确定数据的训练。
• 实验结果：
  • 节点分类任务中，模型在冻结和微调模式下分别提升9.94%和17.83%。
  • 图分类任务中，模型在冻结和微调模式下分别提升7.2%和1.3%。

研究结论

• 负迁移问题：需注意预训练GNN的负迁移风险，明确预训练时机。
• 大数据诅咒：避免过度依赖大量数据，优化数据选择。
• 应用案例：
  • 提供图预训练模型的应用范围。
  • 评估预训练可行性。
  • 选择最优预训练数据。