6-1 面向社交媒体的多模态属性级情感分析 - 虞剑飞 南京理工大学

虞剑飞南京理工大学

1. 背景

• 社交媒体数据分析从文本驱动转向多模态驱动：
  • 2015年Twitter数据显示，42%的推文包含多个图像。
  • 随着多媒体数据的增加，传统的文本分析逐渐转向多模态分析。

2. 多模态情感分析（MABSA）

• 子任务：

  • 多模态方面术语提取/命名实体识别
  • 多模态方面基于情感分类
  • 联合多模态方面情感分析

• 具体技术：

  • 多模态方面术语提取（MATE）：提取多媒体评论中的所有方面或实体。
    • 示例：“长江真是棒极了！”
  • 多模态命名实体识别（MNER）：提取所有实体并将其分类为预定义类型，如PER（人物）、LOC（地点）、ORG（组织）。
    • 示例：“长江是如此令人惊叹！”
  • 多模态方面基于情感分类（MASC）：在多媒体评论中识别每个给定方面或实体的情感。
    • 示例：“长江 -> 消极”
  • 联合多模态方面情感分析（JMASA）：在多媒体评论中同时提取方面或实体并识别其情感。
    • 示例：“[长江, 消极] 长江真是棒极了！”

3. 我们的近期工作

• 统一多模态变压器用于MNER（ACL 2020）：

  • 提出了一种统一多模态变压器模型，包括多模态交互模块和辅助实体边界检测模块。
  • 在两个基准Twitter数据集上达到了最先进的性能。

• 粗到细粒度的图像-目标匹配（IJCAI 2022）：

  • 基于图像-目标相关性和对象-目标对齐的方法，提高多模态情感分类的准确性。
  • 通过粗到细的图像-目标匹配网络实现。

4. 总结

• 主要贡献：
  • 提出了统一多模态变压器模型，实现了最先进的多模态命名实体识别性能。
  • 设计了粗到细粒度的图像-目标匹配方法，提高了多模态情感分类的准确性。
• 未来方向：
  • 继续探索其他模态（如语音）在多模态命名实体识别中的应用。
  • 进一步优化图像-目标匹配算法，提高模型的泛化能力。