CCKS2021-评测任务八总结报告：低资源文档信息抽取+图谱推理问答

CCKS2021-评测任务八总结报告 ---低资源文档信息抽取+图谱推理问答 李杨 云小蜜团队 1 评测任务八总结 子任务1：面向保险领域的低资源文档信息抽取 子任务2：运营商知识图谱推理问答 我们在文档信息抽取主要工作 我们在知识图谱推理问答主要工作 子任务1：面向保险领域的低资源文档信息抽取 随着知识图谱在各个行业的应用，信息抽取技术从文档中挖掘大规模图谱知识已经成为了一个研究热点 然而当前信息抽取任务多关注于从无结构化文本中抽取知识，忽略了文档中丰富的格式信息 在真实的业务场景下，文档级信息抽取标注数据的获取成本十分高昂，现有信息抽取方法在 少量标注样本下的表现性能不佳，已经成为阻碍行业知识图谱规模化应用的主要瓶颈之一 子任务2：运营商知识图谱推理问答 通过对用户输入query进行语义理解，生成结构化查询语句，从知识库中选择若干实体或属性值作为该问题的答案 在简单句上已经取得比较好的效果，但在复杂问句的理解能力还有待提升 子任务1：面向保险领域的低资源文档信息抽取： 基于输入的文档抽取“文档标题层级抽取”+“文档开放信息抽取” 评测本身不限制各参赛队伍使用的模型、算法和技术。 子任务2：知识图谱复杂推理问答： 输入query基于给定的图谱查询对应的答案 主要问句类型 （1）约束问句：条件约束句、时间约束句 （2）推理型问句：比较句、最值句、是否型问句以及问句中带有交集、并集和取反的问句 评测本身不限制各参赛队伍使用的模型、算法和技术。 子任务1：低资源文档信息抽取 评价指标：精准率Precision、召回率Recall、 F1-measure 如果元组i和标注答案中的一个元组严格匹配，xi为1， 否则为0，n为标注的元组总数量。 子任务2：知识图谱复杂推理问答： 评价指标：宏观准确率MacroPrecision， 宏观召回率MarcoRecall，AveragedF1值最终排名以AveragedF1值为基准。 设Q为问题集合，Ai为选手对第i个问题给出的答案 集合，Gi为第i个问题的标准答案集合，计算公式如下： 基于天池平台举办 任务名称 名次 队名 单位 成员列表 指导老师 低资源文档信息抽取 第一名 zephyr666666 中英人寿保险有限公司 王志强 无 低资源文档信息抽取 第二名 asialiuzy 亚信科技（中国）有限公司 刘志勇 宋勇 低资源文档信息抽取 第三名 新华智云-NLP 新华智云科技有限公司 魏旭、刘潇婧、陈泽奇 无 低资源文档信息抽取 技术创新奖1 模型你收敛点吧 山西大学 李俊材、闫智超、胡景畅 李茹 低资源文档信息抽取 技术创新奖2 NELSLIP 中国科学技术大学 张镇荣，胡鹏飞，蒋欣哲 杜俊 知识图谱推理问答 第一名 HW-TSC 华为技术有限公司，中国人民解放军国防科技大学 陈一萌、张敏、刘宇嘉 无 知识图谱推理问答 第二名 价值在线 深圳价值在线信息科技股份有限公司，大连大学 包荣鑫、刘媛媛、刘迪、陈龙 无 知识图谱推理问答 第三名 Nichole 南京云问网络技术有限公司 杨兆良、王杰、李平 无 知识图谱推理问答 技术创新奖1 sport 东北大学，中科院沈阳自动化研究所 傅敏康、邹卓璋、朱越、李明远、朱哲仪 贾同 知识图谱推理问答 技术创新奖2 1.3454 中国电子进�口有限公司 汪自立 无 子任务1：低资源文档信息抽取 参赛者方案总结： 1.采取纯规则进行标题识别； 2.采用类似LayoutLM的方式结合多模态信息的模型；3.结合模型和规则的pipeline流程。 整体分析： 1.基于NLP模型加规则还是主流大部分模型融合了文本、Layout等信息，较少团队使用了相关的图像特征。 2.排名前列的队伍在标题识别都有比较精巧的规则识别模块。 3.如何在解析链路中加入OCR能力是提升识别效果很重要的点。 子任务2：知识图谱复杂推理问答 参赛者方案总结： 1.对KBQA任务中多语义成分采取pipeline技术方案 2.切分成实体成分识别和其他语义成分识别（如属性、约束、算子）两个模块技术方案； 3.采用端到端联合识别多语义成分的技术方案。 整体分析： 1.当前基于pipeline式的方案还是主流且效果较好的。 2.对KBQA不同子任务统一建模也取得了一定的效果，该方案减少整体链路复杂度。 在政务、保险、银行、电力多个行业的测试集，三元组抽取普遍优于Baseline3%~7%，具备较强的泛化性和通用用性。 Feedback KGBert Knowl edgeProbing nowledgeInject K 知识中台 谢谢各位！ 2 2