使用卷积神经网络识别的左右光学相干断层扫描图像之间的不对称性

科学报告|(2022) 12:9925| https://doi.org/10.1038/s41598-022-14140-x1 打开左右不对称使用卷积神经网络识别的光学相干断层扫描图像Tae Seen Kang1, Woohyuk Lee1, Shin Hyeong Park1 & Yong Seop Han1,2在之前的一项研究中，我们在眼底照片中发现了生物眼不对称，而黄斑是区分左右眼底图像的鉴别区域，准确率 > 99.9%。本研究的目的是研究左眼和右眼的光学相干断层扫描 (OCT) 图像是否可以通过卷积神经网络 (CNN) 进行区分，并支持之前的结果。我们总共使用了 129,546 张 OCT 图像。 CNN 以高精度（99.50%）识别左右水平图像。即使在翻转左侧图像之后，所有的 CNN 都能够区分它们（DenseNet121：90.33%，ResNet50：88.20%，VGG19：92.68%）。左右翻转图像的分类准确度结果相似（分别为 90.24% 和 90.33%；p = 0.756）。 CNNs 还区分了左右垂直图像（86.57%）。在所有情况下，CNN 的辨别能力产生了显着的 p 值（< 0.001）。然而，CNN 无法很好地区分右侧水平图像（50.82%，p = 0.548）。有显着差异左右水平和垂直OCT图像之间以及翻转和非翻转图像之间的识别精度。由于这可能会导致机器学习出现偏差，因此在翻转图像时应小心。光学相干断层扫描 (OCT) 是一种成像模式，可提供活组织的高分辨率横截面和三维图像1. OCT 可用于在细胞水平上快速安全地检查眼睛。 OCT 已广泛用于诊断视网膜和视盘疾病，眼科医生很容易获得，并且越来越多地用于皮肤病学2和心脏病学2.卷积神经网络（CNN）是近年来发展迅速的一种图像分析方法。视觉皮层的多层结构激发了 CNN 的发展3. CNN 显示出对图像进行分析和分类的高能力。在最近的研究中，一些 CNN 的分类能力与医生相似4.大量研究评估了 CNN 诊断眼科疾病的准确性6，包括视网膜疾病患者7和青光眼12，其中 CNN 能够从视网膜图像中确定患者的年龄、性别，甚至吸烟状况。左眼的眼底图像显示为右眼眼底图像的镜像。在之前对 CNN 的研究中，我们发现眼底照片中的不对称性13.然而，眼底图像也会受到多种因素的影响，例如相机镜头、闪光灯和室内照明条件。由于 OCT 没有这些因素，我们尝试使用带有 CNN 模型的高分辨率 OCT 来评估左右眼的不对称性。结果图像集的基线特征。回顾性回顾了 2016 年 2 月至 2020 年 12 月访问庆尚国立大学昌原医院的患者病历。 2016 年至 2021 年 5 月期间，从 9274 名患者中总共拍摄了 3,238,650 张黄斑图像。我们从总共 3,238,650 张图像中选择了 129,546 张中值图像。有 33,366 个右水平、31,211 个右垂直、33,429 个左水平和 31,540 个左垂直 OCT 图像。1 庆尚国立大学昌原医院眼科， #11 Samjeongja-ro, Seongsan-gu, Changwon 51472, Republic of Korea。 2韩国晋州庆尚大学医学院健康科学研究所眼科。电子邮件：medcabin@naver.com 科学报告|(2022) 12:9925 |https://doi.org/10.1038/s41598-022-14140-x2F图1。训练和验证结果。 Sets 1-7 的训练损失接近于零。在 Set 1 中，左右眼的图像很容易区分，验证损失接近于零，验证准确度因此接近 1.0。在第 2-5 组中，获得了类似的验证损失 (~ 0.4) 和验证准确度 (~ 90%)。对于由垂直图像组成的第 6 组，与第 2-5 组相比，准确性略差。第 7 组显示了第二高的验证准确度。与第 1-7 组相比，在第 8 组中观察到过拟合；在这组中，训练损失收敛，而验证损失发散。 Set 8 的验证准确度约为0.5 并且在学习期间未能提高。 OD oculus dexter，OS oculus sinister，H 水平，V 垂直。我们按照 8:1:1 的比例将每组中的图像分成训练集、验证集和测试集。第 1-5 组由水平图像组成（33,366 个右水平图像和 33,429 个左水平图像）。在这 66,795 张图像中，有 6680 张用于模型测试。在 CNN 学习期间，53,435 张图像用于训练模型，6680 张图像用于模型验证。第 6 组和第 7 组由垂直图像组成（31,211 个右垂直图像和 31,540 个左垂直图像）。在 62,751 张图像中，有 6276 张用于测试。在 CNN 学习期间，50,199 张图像用于训练，6276 张用于验证。第 8 组仅包含 33,366 个右侧水平图像，分为 3337 个用于测试的图像、26,692 个用于训练的图像和 3337 个用于验证的图像。左右水平 OCT 图像的比较（第 1 组；RhLhD121）。我们使用 CNN 模型对左右水平 OCT 图像进行分类。在第 50 个 epoch 之后，验证准确率为 99.50%（图 1）。在 6680 个测试集图像中，6675 个被 CNN 正确标记，测试准确率为 99.93%（AUC = 0.999，p < 0.001，图 2）。右侧和翻转左侧水平 OCT 图像的比较（第 2-4 组；RhfLh）。我们使用 DenseNet121、ResNet50 和 VGG19 对未翻转的右水平 OCT 图像和左翻转水平图像进行分类。 Sets 2-4中的图像数量（RH大号H) 与 Set 1(RH大号HD121）。在第 50 个纪元之后，F呵呵121小时 5019 小时Set 2(R fL D )、Set 3(R fL R ) 和 Set 4(R fL V ) 中的验证准确度分别为 92.97%、88.92% 和 92.23%，分别（图1）。测试准确度约为 90%（分别为 90.33%、88.20% 和 92.68%；AUC：分别为 0.902、0.882 和 0.927；所有 p 值 < 0.001，图 2）。 ROC 曲线比较中的 AUC 显着不同（所有 p 值 < 0.001）。右翻转和非翻转左水平 OCT 图像的比较（第 5 组；fRhLhD121）。第 5 组(fRH大号HD121) 包括 Set 2(R) 中图像的水平反转版本H大号HD121）。由于我们只翻转了其他集合中的左侧水平图像，因此可能会导致偏差。我们试图通过翻转右眼图像来验证结果。 DenseNet121 模型对翻转的右水平图像和非翻转的左水平图像进行了分类。 50后thepoch，验证准确率为 89.83%（图 1）。测试准确率为 90.24%（AUC：0.902，p < 0.001，图 2）。与第 2 组的 ROC 曲线分析相比（RH大号HD121)，AUC 不显着F完全不同（RH大号HD121与 RH大号HD121; p = 0.756）。ff 科学报告|(2022) 12:9925 |https://doi.org/10.1038/s41598-022-14140-x3FF图 2。每个测试集的混淆矩阵。 Set 1 的分类准确率为 99.93%，是所有集合中最高的。 （AUC = 0.999，p < 0.001）。第 2-5 组的测试准确度约为 90%（分别为 90.33%、88.20%、92.68% 和 90.24%；AUC：分别为 0.902、0.882、0.927 和 0.902；所有 p 值 < 0.001）。第 6 组的测试准确率为 86.57%（AUC = 0.866，p < 0.001）。第 7 组的准确率为 97.93%，是第二高的（AUC = 0.979，p < 0.001）。第 1-7 组的结果具有统计学意义。第 8 组显示 50.82% 的分类准确度（AUC = 0.505，p = 0.548）。 OD oculus dexter，OS oculus sinister，H 水平，V 垂直。左右垂直 OCT 图像的比较（第 6 组；RvLvD121）。我们使用 DensdNet121 模型对左右垂直未转换图像进行分类。在第 50 个 epoch 之后，验证准确率为 85.86%（图 1）。在 6276 个测试集图像中，5433 个被 CNN 正确标记，测试准确率为 86.57%（AUC = 0.866，p < 0.001，图 2）。 AUC 显着低于 Set 1(RH大号HD121; AUC = 0.999）和第 2 组（RH大号HD121; AUC = 0.902）（所有 p 值 < 0.001）。右侧和翻转左侧垂直 OCT 图像的比较（第 7 组；Rv LvD121）。我们使用 DensdNet121 模型对右侧和翻转左侧的垂直未转换图像进行分类。在第 50 个 epoch 之后，验证准确率为 98.26%（图 1）。在 6276 个测试集图像中，6146 个被 CNN 正确标记，测试准确率为 97.93%（AUC = 0.979，p < 0.001，图 2）。 AUC 显着高于第 6 组（Rv大号vD121与 RVF大号vD121; p < 0.001)。随机分布的右侧水平 OCT 图像之间的比较（第 8 组；RhRhD121）。8组(RHRHD121) 旨在测试过拟合，使用 DenseNet121 对随机选择的右水平图像进行分类。虽然训练准确率增加，训练损失减少，但第 50 个 epoch 后的验证准确率仅为 48.55%。在 3337 个测试集图像中，1696 个（50.82%）被正确分类（AUC = 0.505，p = 0.548，图 2）。与第 1-7 组不同，第 8 组显示了不规则的 CAM 模式，强调了玻璃体和巩膜的外部区域。讨论OCT 是一种新型成像模式，可提供活组织内部微观结构的高分辨率横截面图像1. OCT 的低相干光穿透人类视网膜，然后反射回干涉仪以产生横截面视网膜图像14.视网膜 OCT 图像由重复的低反射层和高反射层组成。 OCT中的高反射层包括视网膜神经纤维层、内丛状层、外丛状层、外界膜、椭球区和视网膜色素上皮。低反射层包括神经节细胞、内核和外核层。脉络膜和部分巩膜也出现在 OCT 图像中15.我们之前的研究13 表明左眼底图像相对于右眼底图像不是镜像对称的。 CNN 能够以大于 99.9% 的准确率区分左右眼底。但是，重要的是要考虑可能影响眼底摄影结果的各种因素。在眼底摄影中，手电筒发出的光线从视网膜反射并进入眼底相机的传感器；然后传感器会检查光的波长和强度。根据眼底相机的工作原理，眼底图像可能会受到光源和传感器的类型和位置以及反射和 科学报告|(2022) 12:9925 |https://doi.org/10.1038/s41598-022-14140-x4各种环境因素16.然而，OCT 是一种完全不同的模式，没有这些混杂因素。高质量的横截面 OCT 图像允许解剖结构的可视化。我们的 CNN 对双边水平 OCT 图像显示 99.93% 的分类准确率（第 1 组；RH大号HD121）。这个结果并不令人惊讶，因为由乳头状黄斑束组成的厚视网膜神经纤维层（RNFL）位于中央凹的鼻侧而不是颞侧。此外，大血管集中在鼻侧。值得注意的是，CAM 不仅突出了 RNFL，还突出了中心凹视网膜的整个厚度。这些结果表明，CNN 能够根据视网膜、脉络膜和巩膜的每一层以及 RNFL 的解剖信息识别解剖不对称。人眼无法区分右侧水平 OCT 和翻转左侧水平 OCT，因为图像在很大程度上彼此重合。为了检查这个问题，我们使用了图像集（Sets 2-4; R高频大号H) 来训练 DenseNet121、ResNet50 和 VGG19。尽管模型之间的分类准确度不同，但所有 CNN