负责任的科研社会影响力评估框架

作者简介 Jonathan Adams是科学信息研究所（ISI）首席科学家。他是伦敦国王学院政策研究所的客座教授。由于在高等教育和政策研究领域的卓越贡献，Jonathan Adams在2017年 被 埃克塞特大学授予荣誉理学博士学位。ORCiD：0000-0002-0325-4431。Webof Science ResearcherID：A-5224-2009。 Nandita Quaderi博士是科睿唯安研究 与 分 析 副 总 裁 兼Web of Science主 编， 主 管Web of Science编 辑部、 科 学 信 息 研 究 所 以 及ResearchProfessional News团队。她全面负责编辑策略、Web of Science内容选择以 及 期 刊 引 证 报 告™（JCR™） 的期刊收录。 Dmytro Filchenko博 士于2024年加入科睿唯安，任科学信息研究所（ISI）TM研 究 与 分 析 高 级 总 监。 他在乌克兰取得了数学建模与计算博士学位，在学术界和企业界积累了超 过15年 的 工 作 经 验。 他 有 着 丰富的领导经历，曾任苏梅国立大学（Sumy State University）副教授和副校长、对标分析负责人及技术总监。他还曾是一位企业创始人。加入科睿唯安之前，他曾在QS QuacquarelliSymonds工作，负责开发QS世界大学排名以及一系列其他教育技术和科研信息产品。 Nandita在加入科睿唯安时已经是一位科研背景深厚的出版业务资深高管。 此 前， 她 曾 在BMC和SpringerNature担任领导职务，还曾是伦敦国王学院的首席研究员。Nandita拥有牛津大学化学学士学位和帝国理工学 院 分 子 遗 传 学 博 士 学 位。Web ofScience研究员ID：V-8708-2019。 致 谢：Ryan Fry、Lisa Hulme、MilovanKova、Jana Milivojevi、Ross Potter以及Gordon Rogers。 David Pendlebury是 科 学 信 息 研究 所 的 研 究 分 析 主 管。 自1983年以 来， 他 一 直 致 力 于 使 用Web ofScience™数据来探寻科学研究的结构 和 动 态。 他 与ISI创 始 人EugeneGarfield共 事 多 年， 并 与Henry Small共 同 开 发 了Web of Science EssentialScience Indicators™（ 基 本 科 学 指标， 简 称ESI） 数 据 库。ORCiD：0000-0001-5074-1593。Web of ScienceResearcherID：C-7585-2009。 立足过去，展望未来 ISI当下依然致力于推动科研诚信，同时改善科学信息的检索、解释和使用。 它通过活动、会议和出版物向外传播这些知识，同时开展第一手研究，以不断拓展、完善和强化知识库。 关于科学信息研究所 科睿唯安的科学信息研究所（ISI）™半个多世纪以来一直引领着全球科研信息的收集和整理。如今，ISI积极支持公平全面的科研评估原则，大力倡导负责任的科研评估。 ISI负责维护公司知识库，这是Webof Science™引文数据库及其相关信息、分析内容与服务赖以建立的基础。 如欲了解更多信息，并接收ISI今后发表的分析和报告，请访问https://clarivate.com/the-institute-for-scientific-information/isi-reports/。 目录 1 2 1、概要 本报告概述了科研社会影响力评估框架的开发工作，我们会将该框架整合到即将推出的Web of Science科研资讯（Web of Science Research Intelligence™）平台中。 研究与实验发展（简称“研发”）活动能够促进创新、提高生产力、解决社会挑战，因而是推动经济增长的关键力量。随着全球研发支出不断增长，如何证实科研确实为社会带来了影响，也成为了日益重要的问题。 基金资助机构、政府和科研机构当前面临的一大挑战就是如何确保研发投资能够在卫生、气候变化和技术进步等众多领域产生可被衡量的效益。然而，全世界都一直缺少一个科研社会影响力的综合评估框架，这一直是一个难题。 科学信息研究所(ISI)开发了一套框架，试图解决社会影响力评估中的三大主要挑战：体现社会需求的多样性、平衡定量和定性方法以及科研成果产生真正社会影响力所需要的漫长时间。 我们创建的评估框架衍生于一种增强的PESTLE模型，其将社会需求归纳为八个方面：政治与政策、法律与治理、经济、人力资本、医疗、社会与文化、技术以及环境（表1）。 有效的社会影响力评估需要基于更广泛的信息源，既要囊括传统学术研究产出，又要考虑其他的有形产出和活动。我们的评估框架中使用了科睿唯安拥有的丰富数据，如学术产出、专利和临床试验数据等，并根据需要加入了更多外部数据（表2）。 开展一项科研活动，到其结果能够产生明显的社会效益，往往要经过非常长的一段时间。为此，我们在评估框架中设置了滞后指标和先导指标（表3和表4）。滞后指标主要针对过去的研究成果和活动进行回顾性分析，这些成果和活动已有充足的时间发挥影响；而先导指标则更加“向前看”，通过分析近期相关信号来预判研究成果和活动未来产生社会影响的潜力（尽管不保证实现）。 该评估框架中的每组指标都包含多个单独指标。我们将以推动负责任的评估的形式提供数据，使用户可以专注于适用于自身情况的社会影响力全面画像。 每个社会层面的总体表现将在社会影响力全貌（Societal Impact Profile™）中呈现，并由底层的单独指标来支持透明度和更细致的分析。 2、引言 研发活动对于推动经济增长、应对现实挑战的重要作用 研发活动是经济增长的催化剂⸺此类活动能促进创新、提高生产力、创造新的产业和就业机会。通过开发新技术、新工艺和新产品，研发活动推动着经济活力和竞争力的提升，使各个国家能够应对复杂挑战并保持全球竞争力。研发产出和活动能够帮助个人、群体、组织和经济体应对现实挑战，这种作用常被描述为“科研社会影响力”。 联合国（UN）1表示，大幅增加研发开支和全球研发队伍是一项要在2030年前实现的战略目标。随着科研人员（当前为880万人）3和学术机构的数量不断增加，全球研发支出预计将达到1.7万亿美元2。研发资源尽管一直增长但数量终究有限，因此合理有效的资源分配就成为政府、高等教育和科研机构、商业公司及私有非营利组织等基金资助机构和决策者共同面临的一项挑战4。 公众越发期待科研的社会影响力得到确切证实 尽管企业研发投入在大多数发达经济体都是研发支出中占比最大的一项（有些情况下高达80%5），但政府仍然是资助基础研究或“蓝天”研究的关键力量。企业通常更重视能够产生直接商业效益的研究，而更广泛的科研社会影响力可能并不是他们关注的重点。因此，政府投资在私人研发投资较为匮乏的产业部门和地区显得尤为重要，对于应对一些未必能产生直接商业回报的紧迫挑战具有关键意义。 由于如何在气候变化、医疗卫生、能源和粮食安全等关键领域合理分配研发资金的压力日益增加，公众越发期望科研影响力能够以可衡量、易理解的方式得到体现和传播。全球基金资助机构也由此产生了更高的期望：他们希望能从多个角度，负责任地评估其科研投资的社会影响力。 尽管质量低劣的研究在任何情况下都没有什么价值，但科研评估的着眼点已然转变⸺从仅仅关注研究的卓越性，拓展到了研究成果的实际价值和社会应用。 科研评估框架的演变 1986年，随着标准化的大学“科研评估机制”（Research Assessment Exercise，简称RAE）出炉，英国发起了世界上第一个国家级科研影响力评估行动。2014年，基于RAE，经过进一步扩展，推出全新的“卓越科研评估框架”（Research Excellence Framework，简称REF），用以评量更广泛的科研影响。REF要求研究人员提交陈述材料或“影响力案例研究”来说明其研究工作的广泛影响6。这套评估方法自此在国际上推广开来，例如，澳大利亚将类似的评估办法引入其“澳大利亚卓越研究评价”（Excellence in Research for Australia，简称ERA）7，香港大学教育资助委员会也将影响力案例研究纳入其2020年研究评审工作（RAE2020）8。 德国也是以“整体资金拨付”的模式向科研机构提供资助，但并未实行常态化的全国性评估。机构评估或由大学院系自行开展，或通过专业机构团体或科学顾问委员会进行。 在美国，国家科学基金会（NSF）和国立卫生院（NIH）之类的机构通过影响力案例研究来定性评估科研活动的社会效益。此类评估往往突出强调对政策、产业界或公共福利具有重大影响的科研突破或应用方案。 开发负责任的科研社会影响力评估框架 尽管科研评估方法不尽相同、体制之间差异甚多，但上文提及的国家以及ISI报告《科研评估：起源、演变、成效》（Research assessment: origins, evolution, outcomes）中列举的其他国家在过去四十年都实现了相对科研绩效的不断提升⸺至少从文献计量指标来看的确如此。然而，目前却没有一套成熟的框架来综合判断科研学术影响力的提升是否同时伴随着相关成果社会影响力的提升。 科学信息研究所开发了一套评估框架，用于衡量科研成果的社会影响力。我们长期支持全球各类科研评估框架的开发，对这些框架的完善贡献颇多，从中积累的经验也为我们开发本评估框架打下了很好的基础。 3、挑战 评估科研活动的社会影响力并不是什么新想法，但如何定义和体现这种影响却一直较为困难。如今，有效评估科研社会影响力已成为日益增长的全球普遍需求。那么，我们如何才能在科研机构、资助机构或国家的层面满足这种需求？ 有三大挑战需要解决： 1.体现社会需求的多样性 社会需求是复杂的，涵盖广泛多样的领域，例如：改善健康状况、加强疾病控制、实施更有效的自然资源分配战略、更高效的工业过程、实现更安全且更清洁的能源生产，以及促进历史、文学和音乐等文化领域的繁荣发展。满足这些需求所带来的益处是共同提高生活质量⸺但捕捉并量化如此纷繁多样的影响却是一大挑战。 这些多样化的益处无法用简单或统一的标尺去衡量，用于度量它们的指标可以千差万别、大相径庭。因此，全面反映并传播科研社会影响力的工作便难上加难。例如，反映技术影响力的有用指标（比如专利数量）对于评估科研活动为文化发展做出的贡献却毫无用处。要想全面评估社会影响力，就必须考虑这些差异并灵活调整适应，以体现科研活动在各领域发挥的独特作用和做出的不同贡献。 2.平衡定量和定性评估方法 过去人们以为，一项研究如果学术影响力高（以引文衡量），其社会影响力必然也高。这种假设现在受到了质疑，科研活动的社会影响力需要更直接准确的衡量指标。 传统文献计量分析在这方面有其局限性，难以提供明确代表社会影响力的信号。因此，任何一种科研社会影响力评估框架都必须引入附加指标来反映更加多样的产出和活动，而不能仅仅局限于期刊文章、专著和会议论文集等传统学术产出。 寻找恰当的评估方法还面临一项挑战。总体上，评估方法可以分为定性和定量两大类。定量方法（比如传统的科学计量法）是很有价值的，因为它们能提供易于扩展的度量工具和客观的评估视角。然而，对社会影响评估而言，这种方法缺乏深度，难以具体反映社会影响的各个侧面。例如，成熟有效的传统引文指标只能衡量论文产出，而无法反映观点（正面、中性或负面）之类的微妙信息。 要想克服这种局限性，将评估范围拓展到出版物之外，定性方法是必不可少的，例如用户案例研究或者影响力陈述。然而，此类方法缺乏可扩展性，而且有失之主观的风险。因此，平衡定量和定性方法对于实现负责且全面的科研社会影响力评估具有至关重要的意义。 3