6-5 基于图的视觉分类模型的可解释性

主要内容总结

1. 动机

• 卷积神经网络 (CNN)：
  • 优点：强大的捕获相关性和抽象概念的图像像素。
  • 缺点：难以捕捉成对关系、全局上下文和属性特征。

2. 图神经网络 (GNN)

• 包括多种类型：GCN、GAT、门控GCN、MoNet、样条CNN等。
• 应用于图像分类，如使用混合模型CNNs进行图形和流形的几何深度学习。

3. 图胶囊网络 (Capsule Networks)

• 初级胶囊输出胶囊，进行遮蔽重建和投票路由选择。
• 例如：GraCapsNet在MNIST和CIFAR10上的应用。

4. 基于图形的视觉变换器视图 (ViT)

• 使用自我注意操作代替图卷积运算。
• DeiT相比ResNet在自然损坏补丁上更稳健，但在对抗性补丁上更脆弱。
• 梯度可视化显示DeiT更能忽略自然损坏的补丁，而ResNet则受到对抗性补丁的影响更大。

5. 结论

• 当直接应用于图像的图表示时，GNNs在性能上未能达到满意的结果，但可以提供解释。
• 最先进的视觉模型将图像隐式地表示为图，解释可以从图表示的角度创建。
• 在特征空间而非输入空间建模视觉概念是有效的，解释可以在特征空间中创建。