大模型时代的可信自然语言处理（演讲PPT）

R 大模型背景下的可信自然语言理解 丁效 哈工大社会计算与信息检索研究中心 2023年6月9日 R自然语言处理的五次范式变迁 规模专家知识深度学习算法ChatGPT 1950~1990 2010~2017 2023~? 小 浅层机器学习算法预训练语言模型 1990~20102018~2023 真的是在指数级发展吗？ R模型规模越来越大 模型规模与表现正相关，因此不停追求越来越大的规模随着模型规模越来越大， 1tillion “涌现”出了令人惊呀的f "智能" 模型参数规模超过22B，才1billion 有可能 涌现”智能 1million A12OpenA CA12 ERTA [DeepGanguli,etal.,2023,arXiv] 201B20192020Yeer RGPT-3没有解决的问题 ·GPT-3测试样例 Qusetion:Whichisheavier，atoasterorpencil?(烤箱和铅笔哪个更重?） GPT-3：Apencilisheavierthanatoaster.(铅笔比烤箱重。） Qusetion:Howmanyeyedoesmyfoothave?（我的脚有几只眼睛？) GPT-3:Yourfoothastwoeyes.（你的脚有两只眼睛，） R2019年，融入显性知识的威力 哈工大提出增加目标任务间的知识迁移能力OpenAI实验室 论文发表于NeurIPS2020 （丁效2019） 四句故事上文： 汤姆和玛丽在一起两年了。一天，他 们一起参加狂欢节。他给她赢了很多玩偶 论文被引10708次（据谷歌学术统计）OpenAI LanguageModelsareFew-ShotLearners 还给她买了精美的杯子蛋糕。当他们走到BenjaminMann*NickRyderMelanieSubbiah 正确结尾：汤姆向玛丽求婚 摩天轮下，他单滕跪地，JaredKaplen'PrafullaDhariwalArvindNeelakantanPranavShgamGirishSastryWenextevzluateGPT-3ontheStoryCloze2016dataset[MCH16],whichinwelvesselectingtheeorrectending 错误结尾：他擦去鞋子上的泥 secalcnceforfxe-scttercelongstories.HereGPT:3achieves83.2%inthezero-shotsectingand87.7%inhefewshotseting(sithK70],Thisissill4.1%kowarhanthefine-untelSOTAuningaBERTbasedmodel[LDL,19]but improxesowcrpreviouszero-sbotresulishynugly10%. OpenAI推出的大规模语言模型GPT-3，其论文指出 在故事结尾预测认知推理任务上比丁效等提出的模型低 4.1%！! [LDL19]ZhongyangLi,XiaeDing,andTingLiu.Storyendingpredictienbytransferablebert.erKivpepriararXiv:7905.07504,2019. RChatGPT能够很好地回答常识类问题 OpenAI(https://chat.openai.com/) 烤箱和铅笔邮个更重？ 一般来说，烤箱会比铅笔重得多。烤箱是一种电器，通常用于烘焙食物或加热食物，因此它 遵常会比铅笔生得多。铅笔是一种小巧的文具，通常用于写字或画画，因此它通常不会很 我的脚有几只眼请？ 人的脚并没有眼睛。人的脚是由脚趾、脚躁和脚跟组成的，它们可以帮助我们维持平衡，走路和进行其他活动。人的脚趾上有许多小骨略和肌腱，使我们能够抓地、走路和平衡，人的脚上并没有服睛。 CRGPT4 PH“想来想去，只有一种职业不会受到ChatGPT的威胁：无业游民”，这句话的含义是什么？这句话的含义是，由于ChatGPT等人工智能技术的发展，许多职业可能会受到影响，甚至 有可能被取代。然而，对于那些无业游民（即没有固定职业的人），这种技术对他们的生活和工作没有直接影响。这句话有些讽刺意味，暗示了人工智能的发展可能导致一些人失去工作，而无业游民却不受其影响。 RChatGPT仍然存在潜在事实性错误 Kx目或争分为益阶限？ 进日战争可以分为以下几个阶段： 1.事实上的战争爆发阶假（1931年9月18日至1937年7月7日）：这个胎股的 起点是1931年日本关东军漫占了中国东北的辽宁省，速立了渭洲国，并开 始慢占中国其他地区，这个价段的达策点是1937年7月7日，日军在卢淘事实上，大模型长于对于事实的记忆，短于 对于事理的归纳。这是因为： 附近拥起事就，导款全面焊发抗日战争， 归纳 2.全用起初期股（1937年7月7日至1938年12月）：这个前股号全折品 初期，中国军队主要采取财策路，中国国国改在南京成立了中央军委抗战退入了全面动员状态， 3.中医军队反政阶段（1939年至1941年）：这个阶设的博点量中国军队开始 采取反政策路，主要是在华中和毕南站区进行，中国军从打腰了日军的国 √大模型在训练过程中对于所有数据一视同仁，并未对于特定的重要部分加以强调。 攻，扩大了照效区，√大模型没有经历观察演绎 4.第二次国其合作第段（1940年至1945年）：这个价段的特点量中国其产觉 纠正等这一环路。 和中国国民党重所合作，建立了航日民族统一战线，中国军认在各个战线上 恶开了相报的收，包信中主证车进设包，对日本本土进行空要等 占据了主动，开始全面反政。中解放军在东北，华北、华东、华离等始区 展开了反改，并最将在1949年完成了全国解效， R:大模型背景下的自然语言理解挑战 存在问题解决方案 1.容易产生幻觉 在预训练阶段获取的保存在参数中的知知识增强的可信自然语言理解 识难以更新、验证，导致容易产生幻觉 2.结果稳定性差 可能利用与任务标签仅为相关性的“表因果机制引导的稳定自然语言理解 面线索”做出预测，导致结果稳定性差 3.存在偏置 大模型对某一类标签有着特殊的偏好基于大模型辩论的去偏自然语言理解 依赖偏好做出预测会导致性能损失 大模型背景下的可信自然语言理解 知识增强的可信自然语言理解 因果机制引导的稳定自然语言理解 基于大模型辩论的去偏自然语言理解 R大模型存在的问题 口对事实型问题的回答不准确 哈工大刘班是谁？ 哈工大刘挺（TingLiu）是一位著名的计算机科学家和教育家，现任哈尔滨工业大学 (HarbinInstituteofTechnology）计算机科学与技术学院数授、博士生导师，以及人工智 能与自然语言处理实验室主任。 刘挺教授的研究领城通盖人工智能、机器学习、自然语言处理等方面，炮在这些领或中做出 了杰出的贡Rt。他是《IEEETransactionsonNeuralNetworksandLearningSystems》和 ≤ACMTransactionsonAsianandLow-ResourceLanguageInformationProcessing)等重 要国际期刊的编委，也胃多次担任国际计算语言学领规的顶级会议ACL（Associationfor ComputationalLinguistics)）的程序委员会主廖或领域主席。 刘艇教授多次获得国际和国内学术奖项，包括2018年度"CCF（中国计算机学会）人工智能领域态出责就奖”、2017年度“国家白然科学基金委杰出青年科学基金”、2015年度CCF青 年科学家奖”等，他也是多个国际计算机科学组织的会员和顾问，积极促进中外学术界的交流与合作。 R符号化的知识v.s.大模型中以参数存储的知识 ·符号化表示的知识 知识图谱/事理图谱维基百科网页文本 Google 参数化的知识（大模型作为知识库） 图灵奖在什么时候设立？ 图灵奖（ACMA.M.TuringAward）是计算机科学领域最高莱誉之一，以纪念英区数学家、遇 辑学家、密码学家艾伦图灵（AlanTuring）的贡献而设立。图灵奖由美国计算机协会 (ACM）于1966年设立。 CR优势分析 LLM离散符号知识 优秀的自然语言理解能力·实时动态的更新 ，遵从以自然文本形式提供的指令·基于检索获取信息，可溯源可追踪 ：基本的推理能力，人工构建，可信度高 大模型擅长于可泛化的语言理解和推理，但并不擅长于记忆特定的知识 基于检索技术从离散知识库中检索知识增强大模型 CR检索增强的大语言模型 如今： Frozen/Trainable Frozen TestContext Jobsisthe CEOofJobscofounded RetrieverAppleinhis parents'garageBlack-boxLM #param.>100B 将检索结果作为LLM的输入的一部分，为大模型补充相关知识 REPLUG:Retrieval-AugmentedBlack-BoxLanguageModels.arXiv:2301.12652.2023.1 R关于事理知识：ChatGPT无法对实时事件进行响应 实时事件理解重要进展？ 发生原因？影响几何？ 终于结束了！加享大央行成为全球首个停下 加息“狂飘”的主要央行加大央行最近加息情况如何？为什么？ BankofCanadamaintainspolicyrate,continuesquantitativetightening 根据我了解到的信息，加拿大央行最近加息了，具体来说，加拿大央行在2022年10月26日将 其隔夜利率提高了25个基点，至1.00%。 加拿大央行此举是为了应对通胀压力，特别是由于新冠疫情造成的全球供应链问题导致的物 价上涨。央行表示，经济数据显示，加拿大经济正在强劲复苏，并且物价压力已经持续了一段时间。央行认为，加息有助于控制通胀并防止经济过热。 此外，央行还表示，它将继续密切关注经济和通胀情况，并在必要时采取进一步的行动。 R事理图谱的研究意义 口现有的知识库普遍是以“概念及概念间的关系”为核心的，缺乏对“事理逻辑”知识的挖掘 口事理逻辑（事件之间的演化规律与模式）是一种非常有价值的人类知识，挖掘这种知识对我们认识人类行为和社会发展变化规律非常有意义 R事理图谱定义 口事理：Eventics（类比物理、生理） 口事理图谱：EventicGraph（EG） 口英文译法类比：语义Semantics，语义网 SemanticWeb 口定义：事理图谱是一个事理逻辑知识库，描 述了事件之间的演化规律和模式。结构上事88 理图谱是一个有向有环图，节点代表事件有向边代表事件之间的顺承、因果、条件和上下位等逻辑关系。 R事理关系 口事理图谱重点关 注因果、顺承、子一周至多年 事件、条件等关系 月至年 3( 出生地 因果关系顺承关系子事件关系 10 法德信息 OR基于多粒度事理图谱的实时事件跟踪 基于多粒度事理图谱优化大模型呈现效果 事理图谱提供事件发展脉络的归纳，提供智慧大脑 设计合适的prompt，使得大模型能够动态整合事件要素，发现关键事件，优化输出图谱深度 加靠大央行暂停加息加拿大最近加息情况如何？为什么？ 全球增长隧饮通黑水平已加拿大国内经济 期有限 放爆，上行预有所下调增长水平放爆是的，主要是因为.. 乾源价站增长持干，低于央行预期 加季大的送款家庭支出，商 哦是么，加拿大最近经济增长放缓了？ 乌见兰危机 *平在今年1生投资，国内 月四著 对，不仅去年第四季的.而且家庭支出 R通过构建事理图谱，对事件发展抽丝拨茧 加拿大央行最近加息情况如何？为什么？ (2023.3.10) 中新社3月8日加拿大中央银行8日宣布暂 多粒度事理图谱构建 时停正了最近一年以来的连续加息举措一加拿大央行暂停加息 恒在能落价格带动下总有所卡调行马克兰 危机仍影响经济上行预期。从加拿大国内 相情况着，去年第四