使用图像扰动构建可靠的放射组学模型

科学报告|(2022) 12:10035| https://doi.org/10.1038/s41598-022-14178-x1 打开建立可靠的放射组学模型使用图像扰动滕新志1、张江1、Alex Zwanenburg2、3、4、5、孙嘉臣1、黄玉华1、林赛吉1、张元鹏1、李冰1、塔周1、小浩南1、刘晨阳1、李文1、韩信阳1、马宗瑞1、田李1 & 景才1放射组学模型的可靠性是其临床转化的核心前提。目前，它使用重测或外部数据进行评估，不幸的是，这些数据在现实中往往很少。因此，我们的目标是开发一种新颖的基于图像扰动的方法 (IPBM)，这是第一个用于构建可靠放射组学模型的方法。我们首先为头颈癌患者的训练（70%）开发了放射学预后模型，并使用 C 指数对测试（30%）队列进行了评估。随后，我们将 IPBM 应用于两个群组（扰动训练和扰动测试群组）的 CT 图像，为两个群组生成 60 个额外样本。使用类内相关系数 (ICC) 评估模型可靠性，以量化扰动训练和扰动测试队列中 60 个样本之间 C 指数的一致性。此外，我们专门使用可靠的 RF（ICC > 0.75）重新训练了放射组学模型以验证 IPBM。结果显示在 Perturbed-Train (ICC: 0.565, 95%CI 0.518–0.615) 和 Perturbed-Test (ICC: 0.596, 95%CI 0.527–0.670) 中模型的可靠性适中同伙。在 Perturbed-Train (ICC: 0.782, 95%CI 0.759–0.815) 和 Perturbed-Test (ICC: 0.825, 95%CI 0.782–0.867) 队列中观察到再训练模型的可靠性增强，表明 IPBM 的有效性.总之，我们展示了 IPBM 建立可靠放射组学模型的能力，在前瞻性评估之前为社区提供了一种新的模型可靠性评估策略。放射组学是一个蓬勃发展的领域，其中机器学习用于将癌症成像表型与癌症基因型或精准医学的临床结果联系起来1. Radiomics 致力于基于非侵入性医学图像（如计算机断层扫描 (CT)、磁共振成像和正电子发射断层扫描）来表征肿瘤表型的差异。此外，放射组学可用于捕获肿瘤的异质性4, 将异质性与肿瘤特征联系起来进行诊断5 和治疗预后6，并改善治疗期间的整体决策7.尽管放射组学具有潜力，但报告的放射组学特征和特征对图像采集、重建和分割的可变性的未知可靠性是将放射组学模型从工作台转换到床边的主要挑战之一8.拉法塔等人。10报道了非小细胞肺癌组织学分类模型在自由呼吸 3D-CT 和 4D-CT 成像阶段方面的变异性。除了放射组学模型应用外，还应考虑由分析图像变化引起的深度学习模型变异性。布拉齐斯等人。11报道了 CT 重建参数对基于深度学习的肺结节计算机辅助诊断 (CAD) 系统性能的影响。他们发现，当迭代重建级别或图像质量也提高时，CAD 系统的性能也会提高。这两篇文章都表明，需要更好地理解成像变化对放射组学模型可靠性的影响。据我们所知，没有研究将放射组学模型的可靠性与特征的可靠性进行比较——针对成像变化。进行模型可靠性研究需要在短时间内对同一患者进行多次扫描，其中来自不同扫描集的预测结果可以反映模型的可变性。由于获取此类数据集是资源密集型的并增加了患者的负担，因此仅出于研究目的而获取它们。为了获得多个数据集，Zwanenburg 等人。12建议扰动图像1中国香港特别行政区红磡育才道11号香港理工大学健康科技及资讯学系。 2OncoRay – 国家肿瘤放射研究中心、医学院和大学医院 Carl Gustav Carus，德累斯顿工业大学，德累斯顿亥姆霍兹中心- 德国德累斯顿罗森多夫。 3国家肿瘤疾病中心 (NCT)，合作伙伴站点德累斯顿，德国：德国癌症研究中心 (DKFZ)，海德堡，德国。 4 医学院和大学医院 Carl Gustav Carus，德累斯顿工业大学，德累斯顿，德国。 5 亥姆霍兹协会 / Helmholtz-Zentrum Dresden - Rossendorf (HZDR)，德国德累斯顿。电邮：jing.cai@polyu.edu.hk 科学报告|(2022) 12:10035 |https://doi.org/10.1038/s41598-022-14178-x2图1。在三重交叉验证下，逐步向后特征消除方法中，训练和验证 C 指数相对于特征数量的变化，重复 10 次。这些点表示交叉验证折叠上的平均 C 指数，阴影区域表示一个标准偏差 (std) 的范围。特征C指数p-价值国际商会Log-sigma-6-0-mm-3D_gldm_LargeDependenceLowGrayLevelEmphasis_64_binCount0.6190.0450.747小波-HHL_glrlm_LongRunLowGrayLevelEmphasis_128_binCount0.5870.1690.454Original_glszm_LargeAreaLowGrayLevelEmphasis_128_binCount0.6140.0660.610小波-LLL_glrlm_RunEntropy_128_binCount0.6080.0640.900小波-LHL_glszm_LowGrayLevelZoneEmphasis_64_binCount0.5720.0910.491小波-HLL_glszm_SmallAreaHighGrayLevelEmphasis_128_binCount0.6040.0850.542表格1。用于模型构建的所选特征的特征。将单变量 C 指数、p 值和 ICC 制成表格。特征名称表示特征、bin 计数（如果适用）和用于计算它的图像。和轮廓来模拟多个图像集的采集。他们通过将特征鲁棒性与两个重测数据集中的特征进行比较来验证该方法。按照这个想法，我们提出了一种使用扰动的放射组学模型的可靠性评估方法。除了传统的放射组学建模方法外，我们还通过向原始图像和分割添加合理的扰动来模拟多个内部验证数据集。然后使用扰动数据验证放射组学模型对随机化的可靠性，可靠性由组内相关系数 (ICC) 表示，ICC 用于描述同一患者在所有扰动下模型预测结果的一致性。结果首先，报告了模型构建的最佳特征和相关特征。其次，评估模型在原始数据集和扰动数据集上的性能。第三，计算放射组学模型的可靠性。第一步是识别与结果相关的特征并删除冗余特征。过滤后，选择了 5486 个特征中的 17 个。然后，使用基于惩罚 Cox 比例风险模型的后向递归特征消除来找到模型构建的最佳特征集。图 1 显示了训练数据集的 10 次重复、三次交叉验证的训练和验证 C-index 相对于递归特征消除过程中的特征数量的变化。将具有最高验证 C-index 的特征集确定为最优特征集，从而将六个特征确定为最优特征集并用于模型构建。这六个选定特征的特征列于表 1 中。在确定了六个最佳特征后，构建并验证了放射组生存模型。训练组和测试组中生存放射模型的 C 指数分别为 0.742 和 0.769。受扰动的训练和测试队列的平均模型性能 C 指数（标准差）分别为 0.686（0.038）和 0.678（0.065）。原始和扰动队列的模型性能在图 2 中可视化，这表明与扰动队列评估相比，原始训练和测试 C 指数可能高估了模型的性能。此外，受扰组的模型性能差异很大，训练中的 C 指数范围为 0.609 到 0.758，测试中的 C 指数范围为 0.514 到 0.794。 科学报告|(2022) 12:10035 |https://doi.org/10.1038/s41598-022-14178-x3图 2。在原始数据和扰动数据上可视化模型性能。图 3。小波-LLL_glrlm_RunEntropy（左）和小波-HLL_glszm_SmallAreaHighGrayLevelEmphasis_128_binCount（右）的特征图。窗口固定在特征图的 1 到 99 个百分点之间，以消除噪声的影响。 科学报告|(2022) 12:10035 |https://doi.org/10.1038/s41598-022-14178-x4图 4。研究的一般工作流程。功能名称C指数p价值国际商会Log-sigma-6-0-mm-3D_glszm_GrayLevelNonUniformity_128_binCount0.6530.000010.97小波-HHL_glszm_GrayLevelNonUniformity_64_binCount0.6560.000010.91表 2。敏感性分析中用于建模的所选特征的特征。单变量将 C 指数、p 值和 ICC 制成表格。特征名称表示特征、bin 计数（如果适用）和用于计算它的图像。跨扰动图像计算特征小波-LLL_glrlm_RunEntropy 和小波-HHL_glrlm_LongRunLowGray-LevelEmphasis 的特征图，以直观地解释结果。如图 3 所示，与 LongRunLowGrayLevelEmphasis 的特征图相比，RunEntropy 的特征图在扰动图像中显示出均匀的模式，这与使用扰动图像计算的特征鲁棒性 ICC 一致。在评估模型的判别能力后，使用 ICC 计算的量化模型性能具有 95% 的置信区间。模型可靠性 ICC 在训练集上为 0.565（0.518-0.615），在测试集上为 0.596（0.527-0.670）。按照约定13，该模型的可靠性适中（0.5 < ICC < 0.75），并且与扰动数据集的模型性能显着变化一致，如图3所示。为了验证可靠性 ICC 的灵敏度，我们进行了一项额外的实验，使用高度可靠的特征 (ICC > 0.75) 来重复放射组学建模过程。对可靠特征进行预筛选后，保留了 67%（3667/5486）的特征；在特征选择之后，这些被简化为四个用于模型构建的最佳特征。原始训练和测试队列的新模型性能 C 指数分别为 0.711 和 0.641，而平均扰动训练和测试 C 指数（标准差）分别为 0.640 (0.029) 和 0.625 (0.042)。对于扰动的训练集和测试集，具有 95% 置信区间的模型可靠性 ICC 值分别为 0.782 (0.749–0.815) 和 0.825 (0.782–0.867)。单变量分析结果列于表 2。一个额外的实验，从高度可靠的特征开始，导致模型可靠性 ICC 值从中等到好的显着增加。该结果证明了我们的方法对输入可靠性的敏感性。还进行了基于过滤图像的亚组分析。原始图像组、log-sigma图像组和小波图像组的中值放射组学特征ICC（范围）分别为0.87（0.42-1.00）、0.91（0.35-0.99）和0.77（0.14-0.99）。表 3 显示了基于过滤图像组的亚组分析结果。总体而言，模型可靠性提高的趋势得以保持，这也表明我们的方法可用于量化放射组学模型的可靠性，以便使用过滤或未过滤的图像进行定量分析。还进行了交叉验证分析以验证我们的模型可靠性评估方法的普遍性。交叉验证测试群组中的平均模型可靠性 ICC（标准差）为 0.83（0.13），而交叉验证的平均训练 C 指数（标准差）为 0.77（0.07），平均测试 C 指数（标准差）为 0.67 (0.13)。结果表明，我们报告的基于单一拆分的结果在拆分方面没有显着偏差。此外，我们还通过最初删除低鲁棒性特征（ICC < 0.75）并重新运行放射组学分析来进行敏感性分析。交叉验证的平均训练和测试 C 指数分别为 0.75 (0.04) 和 0.67 (0.08)，而交叉验证的平均模型鲁棒性 ICC 提高到 0.93 (0.04)。模型可靠性的提高 (p < 0.05) 表明我们的方法对交叉验证下输入可靠性的变化也很敏感。 科学报告|(2022) 12:10035 |https://doi.org/10.1038/s41598-02