胶质瘤是发生在神经系统的恶性肿瘤。世界卫生组织（WHO）根据其侵袭程度将胶质瘤分为四个等级。尽管有先进的治疗方法，神经外科手术仍是提高患者生存率的主要治疗方式。胶质瘤的形状和大小因其在大脑中的位置和生长速率而有显著差异。此外，胶质瘤边界的定义通常依赖于影像科医生的专业判断。手动分割和识别浸润性胶质瘤脑区域非常繁琐和耗时，因此临床上迫切需要自动分割和识别技术，以辅助临床决策、治疗计划和持续的肿瘤监测。核磁共振成像（MRI）是一种非侵入性的有前途的成像技术。T2-液体衰减反转恢复（T2-FLAIR）异常是肿瘤进展的可靠指标，与提高生存率相关。已有许多研究提出使用T2-FLAIR自动分割整个肿瘤进行体积测量、放射组学或放射基因组学。此外，多任务卷积神经网络（CNN）被广泛提出用于肿瘤分割，同时解决IDH基因分型、分级、分子亚型识别以及增强性肿瘤检测等任务。当前的大多数研究集中在胶质瘤的临床应用分割上，而相对较少关注自动识别胶质瘤在大脑中的确切解剖位置。胶质瘤的解剖位置在确定治疗方案、临床病程和预后中起着关键作用。珠江医院影像科李欣明教授团队提出了一种基于transformer的多任务深度学习模型，该模型能够在端到端的框架中同时实现胶质瘤的分割和浸润性脑区域的识别。文章发表在2023年10月的《Cancer imaging》。

本研究回顾性地纳入了根据2016年WHO标准诊断为胶质瘤患者，共354名。纳入标准为病理检查确认的胶质瘤患者及其有术前MRI数据。排除标准包括术前T2-FLAIR和术后增强T1加权（T1c）MRI不完整、有其他恶性肿瘤病史、影像有严重噪音或伪影的患者。采集T1c和T2-FLAIR序列的MRI数据来自不同型号的扫描仪。研究中对图像进行了预处理，包括MRI偏移校正、图像配准、去颅骨处理和灰度级归一化。使用N4ITK算法校正MR图像中的低频强度非均匀性，FSL和ANTs软件进行图像配准，FSL中的BET进行去颅骨处理，灰度级归一化调整MR图像的灰度值。本研究提出了一种基于transformer的多任务深度学习模型，用于同时识别和分割浸润性胶质瘤脑区域。此外，还预处理了两个人口学特征（年龄和性别）和两个临床数据变量（胶质瘤分级和Karnofsky绩效评分）。除了性别被标记为0和1，其他三个特征使用z分数进行标准化。在验证集和独立测试集上评估了所有训练良好的模型。使用多个指标评估多标签分类模型的性能，包括接收者操作特征曲线下面积（AUC）、准确度（ACC）、灵敏度（SEN）和特异性（SPE）。

患者特征：

共354名患者（195名男性，159名女性）被纳入研究，平均年龄为47.61岁。其中，270名被分配至训练集，30名至验证集，54名至独立测试集。68.64%的患者被诊断为低级别胶质瘤（II级和III级），31.36%被诊断为高级别胶质瘤（IV级）。67.51%的胶质瘤位于单一解剖区域，而32.49%浸润至两个或更多区域。额叶、顶叶、枕叶、颞叶和岛叶分别占所有患者的56.78%、21.47%、11.30%、40.11%和7.62%。

胶质瘤浸润性脑区域识别模型性能：

该模型在独立测试集上取得94.95%的AUC，优于VGG16、ResNet50、EfficientNetb0、COM-Net和MTTU-Net。这些模型的AUC值分别为78.90%、87.10%、85.23%、90.22%、93.51%、94.95%以及增加临床特征后的95.07%。在不同胶质瘤分级和浸润区域数量的患者亚组中，该方法在AUC方面也表现优异，尤其是在单一浸润区域中达到98.90%的AUC。结合年龄、性别、胶质瘤分级和Karnofsky绩效评分等临床特征后，模型在验证集的所有分级中的AUC、准确度、灵敏度和特异性均有所提高。

肿瘤分割模型性能：

对U-net、nnUnet、COM-Net、MTTU-Net和作者团队开发的方法等五种肿瘤分割方法进行了评估。结果表明，该研究使用的方法在DSC方面优于其他四种方法，无论是在验证集还是独立测试集上。该方法在所有分级肿瘤中实现了最高的Dice相似系数（DSC），分别为II级、III级和IV级肿瘤的88.50%、85.44%和88.20%。

胶质瘤浸润性脑区域识别模型与影像专家比较：

为比较人工和模型在肿瘤脑叶分类的准确性，进行了一项与独立测试集50%样本的比较实验。两位专家基于增强T1和T2-FLAIR MRI数据独立评估了MR数据。结果表明，我们的模型在识别胶质瘤浸润性脑区域的AUC为85.30%，明显优于两位专家的61.58%和57.21%。此外，专家们的评估时间远超过模型的0.4秒。尽管我们的模型在每个类别中都无法达到最优性能，但在每个脑叶的识别上表现出更高的区分度和更好的整体能力。

模型对局部和全局信息的可视化：

为验证特定的全局和局部特征提取，我们将混合CNN和变换器网络与纯CNN网络进行了对比，使用引导反向传播法进行可视化解释。结果表明，纯CNN网络主要关注局部肿瘤信息，而混合模型则表现出与肿瘤和大脑边缘相关的高关注区域，表明混合模型有效学习了全局特征，特别是肿瘤与大脑边缘之间的相对位置关系。通过结合全局和局部特征的信息，混合模型最大化了各自的优势。全局特征提供了有关肿瘤和大脑边缘相对位置的重要信息，而局部特征专注于特定的肿瘤区域。这种结合使混合模型能够更准确地预测胶质瘤浸润性脑区域。

综上所述，作者团队开发了一种基于transformer的多任务深度学习模型，能够执行两项关键任务：识别脑中肿瘤浸润区域并基于术前MR扫描进行肿瘤分割。该模型在验证和独立测试集上表现出色，与现有的分类和分割模型相比具有优越性。该模型作为一个实用工具，具有显著的潜力，能够帮助临床医生准确识别胶质瘤浸润区域，支持治疗决策。