复旦大学附属华山医院神经外科吴劲松教授团队携手联影智能沈定刚教授团队为确定深度学习能否应用于胶质瘤分类，设计了由玻片扫描仪和深卷积神经网络组成的神经病理学诊断平台，对胶质瘤的5种主要组织学亚型进行分类；结果发表于2021年1月的《Neuro-Oncology》杂志。
——摘自文章章节
【Ref: Jin L, et al. Neuro Oncol. 2021 Jan 30;23(1):44-52. doi: 10.1093/neuonc/noaa163.】
胶质瘤亚型的病理诊断对制定治疗计划和预测预后至关重要。其标准方法是在苏木精和伊红染色（H&E染色）切片基础上结合免疫组化，由病理科医生进行诊断，所需时间较长，还存在一定的主观性；有时出现医生间诊断不一致的情况。人工智能（Artificial Intelligence，AI）在医学领域应用日渐深入，复旦大学附属华山医院神经外科吴劲松教授团队携手联影智能沈定刚教授团队为确定深度学习能否应用于胶质瘤分类，设计了由玻片扫描仪和深卷积神经网络（convolutional neural networks，CNNs）组成的神经病理学诊断平台，对胶质瘤的5种主要组织学亚型进行分类；结果发表于2021年1月的《Neuro-Oncology》杂志。研究者对267例胶质瘤患者的79990张组织学玻片图像进行CNN培训和验证。当分子特征可用时，使用逻辑算法。研究为胶质瘤分类任务建立新的具有加权交叉熵的加权的压缩激励密集深度学习网络（Squeeze-and-Excitation Block Densenet with Weighted Cross-Entropy，SD-Net-WCE）。通过对56例患者的17262个组织学切片图像数据进行基于CNN的胶质瘤组织学独立诊断检测。五折交叉验证的结果表明，图像级的诊断精准度达到86.5%，而病例级的诊断精度达到87.5%。组织病理学分类可通过2个分子标志物（IDH和1p/19q）进一步放大至整合神经病理学诊断。该模型可完成以下组织病理胶质瘤分类分级：少突胶质细胞瘤（Ⅱ级）和间变少突胶质细胞瘤（Ⅲ级），星形细胞瘤包括星形细胞瘤（Ⅱ级）、间变性星形细胞瘤（Ⅲ级）和胶质母细胞瘤（Ⅳ级）（图1-5）。
图1. 微动显微平台与图像拼接技术。A.将H&E染色切片样本置于微动平台扫描仪上。在普通显微镜的顶部加载摄像头，载物台上加载微动平台，控制载玻片的运动。B.扫描仪操作机制：当摄像机在显微镜下拍摄视图时，平台以S形移动。视图被实时传输至计算机屏幕。该平台允许载玻片每次水平移动0.2mm或垂直移动0.15mm。在10×目镜和40×物镜（尺寸为2048×1536）设置下采集图像。平台水平采集20张图像，垂直采集15张图像，因此共采集并保存300张图像补丁。C.图像拼接：300个贴片中的每个贴片（图像）与周围贴片有30%的重叠，获得完整的病理图像作为最终结果。
图2. 脑胶质瘤H&E切片共分为6个组织学类别：1）少突胶质细胞瘤；2）间变性少突胶质细胞瘤；3）星形细胞瘤；4）间变性星形细胞瘤；5）胶质母细胞瘤；6）红细胞和背景脑胶质细胞的非肿瘤图像。将图像分为3组：1）训练集：219名受试者的65673张图像；2）确认集：48名受试者的14317张图像；3）测试集：56名受试者的16862张图像。贴片和患者数量的条形图在左侧，训练、验证和测试集的5个亚型的详细数量在右侧。
图3. 脑胶质瘤的组织病理图像分类分级方法模型。A.网络输入：扫描的玻片图像成片发送到CNN模型。B.该研究方法提供的整个神经网络系统结构，其中使用多个SD块和过渡层获得每个补丁的分类预测。亚型预测标记为GBM、AA、AO、a、O和BG。C.网络输出：直观区分6种胶质瘤组织学亚型分别对应6种颜色。颜色的深浅表示由网络决定的不同水平。D.补丁标签分层决策树，根据肿瘤类型的数量和比例决定对患者的诊断水平，包括图像补丁标签和患者水平标签的结果。
图4. 分子病理逻辑推导图。使用深度学习模型证明对不同等级患者水平预测的5种组织学分类。IDH突变和1p/19q共缺失状态设定为分子标记。当未进行基因检测时，诊断为“组织学分类+NOS”。当患者的分子信息可用时，可以按照决策树的途径将其扩展到分子病理诊断中。最终综合分类包括A伴IDH野生型、AA伴IDH野生型、GBM伴IDH突变、GBM伴IDH野生型、A伴IDH突变和1p/19q非共缺失、AA伴IDH突变和1p/19q非共缺失、O伴IDH突变和1p/19q共缺失、AO伴IDH突变和1p/19q共缺失、A NOS、AA NOS、O NOS、OA NOS和GBM伴NOS。B.将IDH和1p/19q状态与2016年版WHO中枢神经系统肿瘤分类的组织学分类整合后，323例最终诊断的例数和比例。
图5. SD-Net-WCE模型的混淆矩阵和注意图。A.验证集和测试集分别提出SD-Net-WCE的混淆矩阵。“AA”的错误率最高，“A”也被错误分类，可能是因为AA和A的细胞由于核分裂产生的差异而混乱—这是一种相对难以捕获的信息。B.类激活映射（CAM）方法生成的病理图像的注意图。上一行图像为病理切片图像，下一行为相应的注意图。颜色温暖的区域是指实验模型在肿瘤细胞与其它组织分离时所聚焦的区域。C.基于测试组患者水平的混淆矩阵。“A”与“AA”的混淆相对较多。这可能是因为有丝分裂较小，难以确定为“AA”的主要判断特征。
研究者认为，通过利用深度图像学习技术，“人工智能神经病理学家”能按2016年版WHO中枢神经系统肿瘤分类概述的最新标准，结合IDH和1p/19q状态，成功地对胶质瘤图像进行5大类分型诊断。该诊断模型在图像水平和患者水平的准确性都达到预期目标，与现有模型相比显示较强竞争性，模型的准确性已经达到开展前瞻性临床研究的一般要求。
声明：脑医汇旗下神外资讯、神介资讯、脑医咨询所发表内容之知识产权为脑医汇及主办方、原作者等相关权利人所有。未经许可，禁止进行转载、摘编、复制、裁切、录制等。经许可授权使用，亦须注明来源。欢迎转发、分享。
