如何应对系统文献综述中用于数据提取的人工智能的挑战

解决 人工的挑战情报用于 中的数据提取 系统文献评论 RitoBergemann 卫生经济学和结果研究副总裁ParexelAccess咨询 ©2023Parexel国际(MA)公司。 2©2023Parexel国际(MA)公司。 前言 系统、符合HTA标准的文献综述是健康经济与结果研究（HEOR）的一个基本方面。这一过程的一部分是系统文献综述 （SLR）中的数据提取，并且随后对其进行评估以作为数据驱动的证据包的一部分。利用人工智能（AI）来提高SLR过程中的效率、效果和精确性可以为证据评估阶段增加和扩展时间和资源分配的机会，从而为证据包提供潜在更大的洞察力。然而，随着这种机会的到来，也带来了挑战和需要考虑的问题，这些都需要有经验的从业人员进行监督和密切参与 ，以便能够利用这些技术。通过Paraxel在将AI应用于SLR过程方面的经验，我们已经确定了五个关键领域，这些领域对于解决AI在SLR中的数据提取使用问题至关重要，并确保其作为合成和评估特定主题证据的有价值且道德的工具得到充分实现。 -WyattGotbetter，高级副总裁和全球负责人ParexelAccessConsulting Summary 人工智能（AI）有潜力显著提高系统评价（SLR）中数据提取的效率，而系统评价对于综合医疗干预措施的有效性和安全性证据至关重要。然而，使用AI从科学文献中提取临床数据以进行SLR也会带来若干挑战，这些挑战需要谨慎考虑并整合到熟练掌握证据评估最佳实践的专家实践中。 在SLR中使用AI的挑战 数据质量 如果用于训练AI的数据质量差或有偏见，AI可能会做出不正确或有偏见的决定 缺乏透明度 人类可能很难完全理解人工智能算法是如何做出决定的，从而导致在提取过程中缺乏透明度。 有限的覆盖范围 人工智能系统可能无法从所有类型的科学文献中提取数据， 数据提取 人工智能系统可能很难准确捕获所有相关信息 伦理考虑 系统评价中的人工智能提出了道德方面的考虑，例如潜在的偏见和决策过程的透明度 Conclusion 随着人工智能在系统评价中显著提高数据提取的效率和准确性，其使用也带来了挑战。为了应对这些挑战并确保在系统评价中负责任且透明地使用人工智能，重要的是精心设计和测试AI算法，使用多样且具代表性的数据样本，并考虑在此背景下使用人工智能的伦理影响。人类智能和领域专家仍然在数据提取过程中发挥着最关键的作用，AI工具不能在没有仔细和深思熟虑的人类监督的情况下被使用。 Introduction SLRs是一种成熟的方法，用于综合和评估特定主题的证据。这一过程涉及系统性和透明性的步骤，包括识别、选择和提取相关研究的数据，并对数据进行综合和分析以得出关于所研究主题的结论。数据提取是SLR过程中的关键步骤，因为它涉及到以标准化格式从每项研究中识别和提取相关数据。 数据提取可以是一个耗时的过程，尤其是在手动进行时，对于大型和复杂的综述而言更是如此。这需要具备技能的审阅者仔细阅读并解读每项研究，并准确地识别和提取相关数据。这可能会具有挑战性，因为研究可能以各种格式呈现数据，包括表格、图表和文本，准确捕捉所有相关信息可能颇具难度。此外，大量可能被纳入大型系统综述的研究数量可能会使手动数据提取变得压倒性和劳动密集型。 为了应对这些挑战，研究人员越来越多地将AI作为系统评价（SLR）中数据提取的工具。AI算法可以被训练以识别和提取特定类型的数据，并准确地解释和组织数据到标准化格式中。这可以显著减少数据提取所需的时间和努力，并有助于减少错误和遗漏，但其效果仅取决于研究者应用的战略、专业知识和视角。 人工智能使用的五个维度及其面临的挑战 1:数据质量 挑战 数据质量是使用AI从科学文献中提取临床数据以进行系统评价的关键因素。系统评价是综合医疗干预措施的有效性和安全性证据的重要工具，从文献中提取的数据的准确性和可靠性影响着评审的有效性。 如果用于训练AI的数据质量差或存在偏差，AI可能会作出错误或有偏见的决策，这可能导致系统评价中出现不准确或误导性的结果。低质量数据可能包括不完整、模糊或不可靠的数据。偏差可能出现在用于训练AI的数据未能代表所关注的人群时，或者当数据反映了数据收集者或记录者的偏好或偏差时。 ©2023ParexelInternational(MA)Corporation.3 解决方案 为了确保用于训练AI的数据质量，需要仔细选择和预处理数据。这可能包括验证数据的准确性和完整性、删除重复或无关的数据以及标准化数据以确保其格式一致。此外，使用多样且具有代表性的数据样本也很重要，以确保AI能够在反映所关注人群多样性的广泛数据范围内进行训练。 确保用于训练AI的数据质量对于保证AI提取数据的准确性和可靠性至关重要。这有助于确保系统性回顾基于高质量的证据，这对于指导临床实践和政策制定至关重要。 2.缺乏透明度 挑战 AI算法决策过程的透明度不足，在使用AI从科学文献中提取临床数据进行系统评价时可能会成为一个挑战。人类难以完全理解AI算法的决策过程，导致提取过程缺乏透明度。 这种透明度的缺乏可能会从以下几个方面引发问题。首先，审查人员可能难以理解做出这些决策的依据，从而难以判断AI是否进行了准确且可靠的提取。这可能会影响系统评价的可靠性和有效性，因为难以识别和纠正数据提取中的任何错误或偏见。 第二，缺乏透明度还可能引起对提取过程的责任性和公平性的担忧。如果审查人员无法理解AI是如何做出决策的，那么在提取过程中出现任何错误或偏差时，可能难以对AI进行问责。这在AI的决策可能对患者或其他相关方产生重大影响的情况下尤为成问题。 第三，重要的是SLR能够使用审阅者所采用的方法进行重现。如果AI算法的决策过程不够透明，则这可能会带来挑战。 4©2023Parexel国际(MA)公司。 解决方案 可解释的人工智能算法的设计目的是以人类能够理解的方式为决策提供解释，这可以确保系统综述中使用的AI算法具有透明性。审阅者可以更好地理解AI决策的基础，这有助于提高提取过程的透明度和责任感。 3：有限的覆盖范围 挑战 AI系统可能无法从所有类型的科学文献中提取数据，例如非英语文章或以图形、图像等形式而非标准化表格的数据。这可能会限制系统评价的覆盖面，并有可能排除重要的证据。 解决方案 为了应对这一挑战，可能需要结合使用AI和人工审核来确保系统评价中包含所有相关的文献 。这可能包括使用AI从标准格式的文章中提取数据，并由人工审核人员从非标准格式的文章或非英语文章中提取数据，以及验证提取数据的准确性和完整性。这有助于确保提取的数据准确可靠，并且评审中包含了所有相关数据。 另一种方法是使用AI从标准格式的文章中提取数据，并由人工审核员验证提取数据的准确性和完整性。这有助于确保提取的数据准确可靠，并且所有相关数据都被纳入审查范围。 4：数据提取 挑战 从科学文献中提取临床数据可能是一项复杂的工作，因为它涉及到从大量文本中识别和提取特定的信息。当使用AI进行系统评价的数据提取时，这一复杂性可能会带来挑战，因为AI系统可能难以准确识别和捕捉所有相关的信息。 5 这一复杂性的一个方面在于系统评价中可能需要提取的各种数据种类繁多。临床数据可能包括研究的干预措施、研究设计和人群、测量结果以及研究结果等方面的信息。提取这一广泛的数据范围需要AI准确地从大量文本/表格/图像甚至补充材料中识别并提取特定的信息。 另一个复杂性方面在于科学文献中信息呈现的潜在变异性。不同的作者可能会使用不同的术语、格式或结构来呈现相同的信息，这使得AI难以准确识别和提取相关数据。 解决方案 为了应对这些挑战并确保数据提取的准确性和可靠性，重要的是仔细设计和测试用于提取过程中的AI算法。这包括为任务选择合适的AI算法，并确保该算法在代表性数据样本上得到适当的训练和测试。必要时，还可能需要对AI算法进行微调以提高其性能和准确性。 使用人工智能和人工审核相结合的方法可以确保系统性审查的全面性，并包括所有相关证据 。这还有助于减轻仅使用人工智能所面临的风险，如提取过程中的潜在偏见或透明度不足问题。 5：道德 挑战 此外，除了对偏见和透明度的担忧外，使用AI进行决策支持还引发了责任和问责的问题。谁应对AI做出的决策负责并承担责任？重要的是要仔细考虑这些问题，并确保明确了解谁应对AI做出的决策负责并承担责任。 6 AI算法可能会受到训练所用数据偏见或算法设计与实现方式偏见的影响而出现偏差，这可能导致AI在做出决策时表现出偏见或歧视性，从而对受影响个体产生严重后果。例如，如果用于招聘决策的AI算法对某些群体存在偏见，这可能会导致职场上的歧视现象。为应对这一伦理问题，确保用于训练AI的数据具有多样性和代表性，并设计和测试AI算法以最小化偏见是非常重要的。 另一个伦理问题是人工智能算法决策过程的不透明性。人类难以完全理解人工智能算法是如何做出决策的，这导致了决策过程的不透明。这可能带来问题，因为个体可能难以理解AI做出决策的基础，并确定AI是否做出了准确可靠的决策。为解决这一伦理问题，确保用于决策支持的人工智能算法具有透明性和可解释性至关重要，以便个体能够理解AI决策的基础。 解决方案 总体而言，使用AI进行决策支持引发了多个伦理问题，包括偏见的可能性、透明度的需求以及责任和问责的问题。一种应对这些伦理问题的方法是确保用于决策支持的AI算法在设计和实施过程中具有透明性和可解释性，以便个人能够理解AI决策的基础。此外，还需考虑基于AI的决策对不同群体可能产生的影响，以确保AI算法不会延续或加剧现有的不平等或偏见。另外，建立明确的责任和申诉机制对于处理AI决策产生负面影响的情况也至关重要。通过仔细考虑这些伦理问题，我们可以确保使用AI进行决策支持的行为是负责任且符合伦理的。 7 人类智慧 人工智能 机器学习 DeepLearning 人类智能优于AI、ML和DL Conclusion AI在SLRs中用于数据提取具有显著提高过程效率和准确性的潜力。通过自动化并减少手动审核的需求，AI可以帮助减少时间和努力，并有助于最小化错误和遗漏。然而，在此背景下使用AI也带来了挑战和伦理考虑，这些都需要仔细考虑。为了确保AI在SLRs中用于数据提取是一种有价值的且符合伦理的工具，用于综合和评估特定主题的证据，我们必须解决这些挑战和伦理考虑。人类智能，即人类的专业知识专家，在数据提取中仍然扮演着最重要的角色，AI工具不能在没有我们谨慎监督的情况下被使用。 8 我们总是可用一个谈话 ParexelInternationalCorporation2520MeridianPkwy,Durham,NC27713,USA+191 9544-3170办事处遍布欧洲、亚洲和美洲www.parexel.com ©2023ParexelInternational(MA)Corporation