情感计算白皮书

委员会 顾问委员会 朱世强之江实验室主任、浙江大学党委副书记 任福继日本工程院院士、欧盟科学院院士、电子科技大学讲席教授、日本德岛大学荣誉教授 戴琼海中国工程院院士、清华大学自动化系教授、清华大学信息科学技术学院院长 李德毅中国工程院院士、国际欧亚科学院院士、指挥自动化和人工智能专家 杨雄里中国科学院院士、发展中国家科学院院士、神经生物学家、复旦大学脑科学研究院学术委员会主任 褚君浩中国科学院院士、中国科学院上海技术物理研究所研究员、复旦大学教授、华东师范大学教授 蒋田仔欧洲科学院院士、中国科学院自动化研究所脑网络组研究中心主任 马庆国国际欧亚科学院院士、亚太人工智能学会会士、浙江大学教授 傅小兰中国科学院心理研究所所长、中国科学院大学心理学系主任 专家委员会 赵新龙之江实验室党委副书记 陈伟之江实验室主任助理、党委委员 陈光之江实验室科研发展部部长 林峰之江实验室人工智能研究院副院长 李太豪之江实验室高级研究专家、跨媒体智能研究中心副主任、研究员 曾令仿之江实验室之江-燧原联合创新研究中心副主任 宗成庆中国科学院自动化研究所研究员、中国科学院大学岗位教授 陶建华中国科学院自动化研究所研究员、模式识别国家重点实验室副主任、国家杰出青年基金获得者 吕宝粮上海交通大学计算机科学与工程系教授、上海交通大学医学院附属瑞金医院广慈特聘教授 吕钊安徽大学计算机科学与技术学院副院长、教授、安徽省杰出青年基金获得者 王蕊中国科学院信息工程研究所研究员 李勇辉中国科学院心理研究所研究员 蔡曙山清华大学心理学与认知科学研究中心主任、教授 肖仰华复旦大学计算机科学技术学院教授、复旦-爱数认知智能联合研究中心主任 张效初中国科学技术大学生命科学与医学部教授、青年长江学者 潘煜上海外国语大学国际工商管理学院院长、教授 金佳上海外国语大学脑机协同信息行为重点实验室教授 曾红广州大学教育学院心理学系教授 罗思阳中山大学心理系副教授 梅林公安部第三研究所研究员 刘明华德勤中国副首席执行官、首席转型官 倪殿令亚马逊云科技大中华区合作伙伴生态系统事业部总经理 庄珺上海市科学学研究所产业创新研究室主任、研究员 刘晶联合国工业发展组织全球创新网络项目上海全球科创中心副主任 编辑委员会 裴冠雄之江实验室人工智能研究院跨媒体智能研究中心副研究员 汪严磊德勤科学加速中心副总监 贾永兴上海科学技术出版社副总编辑、《张江科技评论》主编 李海英中国科学院文献情报中心学科情报分析员 王晓野亚马逊云科技大中华区数据产品技术总监 朱敏上海师范大学商学院商业数据系主任、副教授 杨成宁上海师范大学商学院企业管理系讲师 贲睍烨山东大学信息科学与工程学院教授 唐益明合肥工业大学计算机与信息学院副研究员 范存航安徽大学计算机科学与技术学院副教授 董建敏之江实验室人工智能研究院跨媒体智能研究中心助理研究员程翠萍之江实验室人工智能研究院跨媒体智能研究中心助理研究员徐若豪之江实验室人工智能研究院跨媒体智能研究中心算法工程师 序一 情感被誉为人类社会生活的文法（GrammarofSocialLiving），情感计算旨在创建一种能感知、识别和理解人的情感，并能针对人的情感作出智慧、灵敏、自然反应的计算系统。情感计算是实现自然化、拟人化、人格化人机交互的基础性技术和重要前提，也为人工智能决策提供了优化路径，对开启智能化、数字化时代具有重大价值。近年来，中国成为情感计算领域最重要的崛起力量之一，并有越来越多的学者投入该领域的研究。同时，中国也成为情感计算赋能应用的主战场之一，为支撑经济高质量发展和数字化改革发挥了重要作用。 这本白皮书的发布，旨在回应中国乃至全球学术界和产业界对了解和掌握情感计算最新发展动向的需求，给科学研究人员和行业实践人员提供较为完整的技术发展蓝图和应用趋势洞察，以助推情感计算的发展与转化。这本白皮书有几个鲜明的特点： 一是以主流学术数据库为基础，之江实验室、中国科学院文献情报中心等单位对1997—2022年的2万余篇论文进行分析的数据，具有领域全周期、论文全量级、科研全过程的覆盖优势，梳理出的重要研究论文、专利和标准，有助于明晰关键共性技术和前沿引领技术，对把握情感计算领域学术发展动态具有指导性意义，对实现“高原造峰”和从“0”到“1”等不同创新路径均具有较大参考价值。 二是白皮书描绘了情感计算的学科全景，包括重要研究机构、学术期刊、国际会议、代表性科学家、高水平学会等，并对合作生态进行了梳理，这对指导学科建设和重大科研基金立项具有导向作用。中国学者在学科领域内的进步明显，初步形成了高水平的学科人才梯队，且在典型学者和重要研究阵地中占比较高。但是，在学术期刊、国际会议等方面存在劣势，中国主导能力偏弱，这不利于学科话语权的提 升，也与中国在该领域发文量排名世界第一的情况不匹配。这在一定程度上阻碍了中国科学家作为学术共同体的发展，不利于从跟随性走向引领性的地位变革。 三是白皮书非常重视对情感计算成果转化及应用情况的研究。中国共产党二十大报告提出，“加快实施创新驱动发展战略。坚持面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康，加快实现高水平科技自立自强”。针对应用情况的定量分析和案例研究，有助于引导广大科技工作者面向经济主战场和重大实际需求开展科研攻关，同时促进相关从业人员对技术全景加深理解和认知，促进经济主体增加情感计算赋能应用的探索，加速数字经济转型升级和人工智能技术迭代应用，促进更多企业从产业链下游向产业链中上游的价值重塑。 正是白皮书在以上三个方面的扎实工作，为情感计算未来趋势预测筑牢了基础。这本白皮书也专门设立章节，对技术走向和行业应用作了展望。未来将会怎样，不可准确预知，但对过去和现状的精准把握，为情感计算的发展脉络提供了踪迹。当今世界正在经历百年未有之大变局，这场变局不限于一时一事、一国一域，而是深刻而宏阔的时代之变。我坚信，中国在情感计算领域的影响力将继续迅速提升，我们乐见这种不可阻挡的力量为情感计算学术发展和应用赋能提供源源不断的动力。 电子科技大学讲席教授日本德岛大学荣誉教授日本工程院院士 欧盟科学院院士2022年11月 序二 近年来，中国在人工智能技术领域的发展突飞猛进。上一代人工智能技术在研发、行业应用和内涵普及方面可谓“百花齐放”。经过一大批科学家和实践者的努力，在短短几年的时间里，中国就在人工智能发展的第一阶段追赶上了世界先进水平。中国发展人工智能等前沿信息技术不仅为了实现中华民族伟大复兴，也为了世界可持续发展和人类进步。 德勤作为一家立足中国本土的国际性专业服务机构，正是感受到了这样的使命而欣然地加入新一代人工智能技术——情感计算的开发策源和转化实践的队伍。与诸多科学家和实践者一样，我们也清楚地预见情感心智在整体智能技术群中的重要性。情感计算是一项涵盖心理学、认知科学、计算机科学、数学等多学科交叉的前沿技术，因此我们需要通过一个由多方角色组成的生态网络，通过实现各自的诉求来形成共赢，从而推动情感计算技术从研发向转化、普及等环节发展。为此，在之江实验室的发起和指导下，德勤通过多年创新积累的生态网络群组织包括上海科学技术出版社、中国科学院文献情报中心、英国工程技术学会、亚马逊云科技、上海师范大学等在内的大批专家学者，共同完成《情感计算白皮书》的撰写和发布工作。 由于情感计算技术是过往鲜有人涉足的前沿技术领域，对当前全球情感计算技术的相关信息进行汇总、解读和分析工作自然也是困难重重，尤其是在面临日新月异的技术更替环境下，如何确保内容的时效性，并以最快的速度、最高的质量和最全的信息进行白皮书发布，成为本次任务的最大挑战。这样的任务实施起来如同发起和管理一项大科学工程，也充分考验了参与者彼此的协同和默契。在撰写白皮书的半年多时间里，参与指导和编写的近50位学界领军人物、学者专家 和行业领袖能够在新冠肺炎疫情频发的不确定环境下，毅然打破地域限制，按时且高质量地完成白皮书的撰写任务，这令人感到兴奋和激动！ 白皮书从人类对自身情感研究的历史到通过信息技术的手段如何进行仿生实现情感计算，再到已经实现的场景应用，对情感计算技术进行介绍，实为一部情感计算技术发展和应用的简明百科。这样的内容安排，充分寄托了项目组对情感计算技术在科研和商业应用两个方面的期许。我们始终坚信，一项好的技术既离不开前沿科学的启蒙，也脱不开与社会经济发展的实质联系。白皮书的发布并不意味着项目组工作的结束，而是揭开了中国在情感计算技术方面技术研究和应用转化的序幕。我们衷心地期盼更多对情感计算技术有热情的个人和团队加入我们的大家庭，在新一代人工智能技术赋能社会安定、国家昌盛、人类发展等方面作出更多的贡献。 全国政协委员德勤中国主席2022年11月 目录 引言1 第一章理论概述3 1.1人类社会的情感3 1.1.1情感对人类的意义3 1.1.2情感理论建模5 1.2情感计算的沿革、定义和内容8 1.2.1情感计算的发展历程8 1.2.2情感计算的定义9 1.2.3情感计算的研究内容9 1.3情感计算的意义12 第二章技术综述15 2.1单模态情感计算16 2.1.1文本情感计算16 2.1.2语音情感计算17 2.1.3视觉情感计算18 2.1.4生理信号情感计算20 2.2多模态情感计算21 2.2.1研究背景和发展现状22 2.2.2多模态数据集22 2.2.3多模态融合策略22 2.2.4问题与挑战23 第三章成果情况25 3.1情感计算领域研究趋势26 3.1.1整体趋势26 3.1.2主要研究阵地（国家/地区分析）27 3.1.3主要发文期刊29 3.1.4领域分布29 3.2高水平国际会议31 3.2.1ACM多媒体国际会议32 3.2.2AAAI人工智能会议32 3.2.3国际计算语言学年会33 3.2.4IEEE计算机视觉和模式识别会议33 3.3高水平期刊34 3.3.1《IEEE情感计算汇刊》34 3.3.2《专家系统与应用》35 3.3.3《知识系统》35 3.3.4《信息处理与管理》36 3.4重要研究成果36 3.4.1ESI高被引论文和热点论文36 3.4.2重要会议获奖论文42 3.4.3重要期刊获奖论文43 3.5代表性专利和标准45 3.5.1代表性专利45 3.5.2代表性标准47 第四章科研情况49 4.1学者分布及代表性科学家49 4.1.1全球学者地图49 4.1.2中国学者分布50 4.1.3全球典型学者52 4.1.4高被引学者52 4.2高水平学会52 4.2.1情感计算促进协会52 4.2.2中国人工智能学会情感智能专业委员会53 4.3高水平学术机构53 4.3.1重要研究机构53 目录 4.3.2典型研究机构54 4.3.3新兴研究机构56 4.4生态系统分析56 4.4.1学者合作网络56 4.4.2引用网络分析57 4.4.3关键词共现分析57 第五章应用情况61 5.1总体分析61 5.2行业应用65 5.2.1 教育培训领域 ……………………………………66 5.2.2 生命健康领域 ……………………………………66 5.2.3 商业服务领域 ……………………………………67 5.2.4 工业设计领域 ……………………………………68 5.2.5 科技传媒领域 ……………………………………68 5.2.6 社会治理领域 ……………………………………69 第六章未来趋势71 6.1下一阶段技术走向预见71 6.1.1高质量、大规模数据集的构建71 6.1.2零/少样本学习或无监督学习方法72 6.1.3多模态融合技术创新72 6.1.4多模型推理72 6.1.5认知神经科学启发的情感计算72 6.1.6跨文化情感识别73 6.1.7数据与知识驱动的技术革新73 6.2下一阶段行业应用展望73 6.2.1 智慧服务领域 …………………………………… 73 6.2.2 虚拟现实领域 …………………………………… 74 6.2.3 社会安全领域 …………………………………… 74