13 ContrastNet A Contrastive Learning Framework for Few-shot Text Classification 陈俊帆 北京航空航天大学

研报主要内容总结

一、任务定义

• 少样本文本分类：采用元学习范式，训练集和测试集由多个小任务组成，每个任务包含支持集和查询集。
• 数据集划分：训练集和测试集的文本类别集合不相交，分别称为源类别和目标类别。

二、现存问题

• 表征区分度不够：原型网络没有直接对查询文本的关系建模，导致语义相似但类别不同的查询文本表征区分度不足，容易出现分类错误。
• 过拟合问题：少量训练样本形成有偏差的分布，导致模型容易过拟合到源类别，包括实例级和任务级过拟合。

三、解决方法

• 任务级正则：通过任务数据增强和任务级对比正则，增加任务表征的区分度，鼓励训练集任务表征和测试集任务表征彼此远离，减轻任务级过拟合。
• 实例级正则：通过实例级对比正则，增加语句表征的区分度，鼓励目标类别语句表征与源类别语句表征彼此远离，减轻实例级过拟合。
• 监督对比表征：利用监督对比表征学习直接对查询文本的关系建模，拉近同类别语句表征，推远不同类别语句表征，缓解相似语义不同意图类别的语句易预测错的问题。

四、实验分析

• 实验结果：在8个少样本数据集共20项评估中，提出的对比网络方法在17项上超过SOTA结果，在1-shot下优势明显。
• 错分率分析：原型网络中某些相似类别错分率高达15%，而对比网络相似类别错分率降至约0%。
• 过拟合分析：原型网络训练和测试之间的误差较大，测试性能约600轮后开始波动下降；对比网络训练和测试之间的误差较小，测试性能约4000轮后开始波动下降，过拟合程度相对原型网络更轻。
• 任务表征可视化：对比网络训练集和测试集任务表征明显分离，减轻了任务级过拟合；实例表征可视化显示对比网络训练测试文本区分更开，减轻了实例级过拟合。