第一作者：耿介文1
通讯作者：何川1，张鸿祺1
其他作者：张朴2，徐燕2，黄岩2，何思雨2，王雅栋3
作者单位：1首都医科大学宣武医院神经外科，2北京东软医疗设备有限公司，3威海市立医院神经外科
Geng J, Zhang P, Xu Y, et al. Application of deblur technology for improving the clarity of digital subtractive angiography [published online ahead of print, 2022 Dec 1]. Interv Neuroradiol. 2022;15910199221143168. doi:10.1177/15910199221143168
摘要
背景：数字减影血管造影（Digital subtraction angiography，DSA）技术是常用的血管病检查和治疗手段。我们旨在开发一种新的基于深度学习的DSA图像去模糊方法，以获得更清晰、更锐利的脑血管DSA图像。
方法：本研究中提出的网络级联了多个残差稠密单元（Residual Dense Blocks，RDBs），其中包含稠密连接层和局部残差学习模块，同时研究了几种用于图像恢复的损失函数。我们的训练集包括52对血管造影图像，超过350,000个裁剪区域。测试集包括两部分：10组实验室采集的仿真人体体模的DSA图像，采集大焦点图像作为测试数据，同时采集微焦点图像作为目标图像，通过峰噪比（Peak-to-noise ratio，PSNR）和结构相似性（Structural similarity，SSIM）进行定量分析；另一部分为不同类型疾病的80例临床图像，将去模糊后的临床图像结果与原始数据进行比较，由两名临床医生对图像质量进行主观评估和分级。
结果：使用体模图像进行定量分析，基于本研究的深度学习方法处理后的平均PSMR/SSIM（35.34/0.9556）要优于大焦点采集的原始图像（30.64/0.9163）。对80例临床图像进行主观评价，基于深度学习方法处理后的脑血管疾病的临床图像的图像质量也都有了一定的改善（p<0.001）。
结论：基于深度学习的大焦点图像去模糊算法可以有效地提高DSA图像的图像质量，使图像中血管和病变更为清晰，更好地帮助医生进行诊断和治疗。
数字减影血管造影是脑血管疾病最常用的检查和治疗方法，也是诊断脑血管疾病的金标准1。DSA图像的质量会影响神经介入医师或神经外科医生的诊断和治疗策略，因此确保DSA图像具有较高的清晰度非常重要。影响DSA图像质量的关键因素之一是球管焦点，为了观察细微的血管和精细的结构，球管焦点应尽可能小以产生清晰的图像。然而，由于球管的功率限制，小焦点难以承受较大的功率。通常，采集DSA图像会用一个较大的焦点来达到足够的剂量，这时会损失一定的图像清晰度2。我们的目标是开发一种新的基于深度学习的方法来消除DSA图像中由于使用大焦点采集而引入的图像模糊。
网络总体结构
我们的网络灵感来自于残差稠密网络（Residual Dense Network，RDN），这个方法与最先进的单一超分辨率方法相比，取得了良好的性能3。我们在RDN的低分辨率空间中扩展了分层特征提取，实现了去模糊的功能。本研究提出的去模糊模型如图1所示。在对RDB进行稠密特征融合的基础上，增加了一个注意力机制模块，这可以使网络具备专注于学习有用信息的功能。去模糊神经网络的输入是低分辨率、模糊的图像，输出是与输入图像具有相同维度的去模糊图像（图1A）。
图1 去模糊网络的网络结构。（A）网络的总体设计，（B）残差稠密单元结构，（C）注意力机制模块结构
残差稠密单元结构
在本文中，我们使用了多个稠密残差单元串联的结构。该结构包含稠密连接层和局部残差学习部分，从而形成连续记忆机制3。在输入稠密残差单元之前，首先应用单层卷积层直接提取模糊图像的浅层特征，然后使用残差连接、几组残差稠密单元串联的方式提取更深层特征。每个残差稠密单元对应于不同的层级，输出代表该层级提取信息的中间特征。采用稠密连接与残差连接相结合的方式，可以充分融合浅、深层特征，提高不同层级特征的使用效率和训练精度。残差稠密单元的网络结构如图1B所示。
注意力模块
将多个残差稠密单元生成的特征级联后，利用注意力机制模块对特征图的不同位置学习不同的权重，加大感兴趣区域的权重，同时减小非感兴趣区域的权重（图1C）。首先使用第一层卷积层进行降维，卷积核大小为3×3，随后用修正线性单元（ReLU）进行激活；之后第二层卷积层进行处理，此时卷积核大小为1×1，使之恢复至与输入时相同的维数，随后使用Sigmoid函数进行激活，输出结果为每个通道的权重系数，可用于与输入特征进行逐像素相乘，即可得到注意力模块的输出。
多监督的损失函数
本文研究了几种用于图像恢复的损失函数，如L2、L1、对抗损失函数等等4-6。由于L1损失函数已被证明具有强大的性能和收敛性，所以我们使用L1作为损失函数的一项。尽管L1可以提高目标清晰图像与去模糊图像之间的像素精度，但它一般会使得去模糊图像过于平滑。因此，本研究在特征空间中引入感知损失函数作为另一个函数项，以激励网络产生与目标图像相似的特征。综上所述，我们的去模糊网络的损失函数由多项组成：
其中f（x）表示的是我们提出的网络的输入结果，ϕ表示将图像映射到特征空间的可微函数。在这里，我们使用了预训练的VGG-19，这是一种用于特征提取的主流方法；λ1、λ2是损失函数的权重系数，可以调整这两个参数来控制最终输出。我们测试后得出设置λ1=1、λ2=0.4时可最佳平衡各损失项的优势。
训练数据集
众所周知，在所有的放射成像中，球管的焦点尺寸会影响图像的模糊程度7。因此，我们建立了一个真实物体的血管造影数据集。在临床中采集大小成对焦点的训练图像是不现实的，因此我们通过拍摄仿真人体体模来模拟真实人体的方法建立了该数据集。在同一条件下，通过调整造影时球管的焦点尺寸来获的成对的模糊-清晰图像，来取代人工合成模糊图像的方法。在这种情况下，成对图像扫描条件的唯一区别是球管焦点的大小，其他设置保持不变。
我们用52组成对的血管造影图像训练我们的去模糊模型，生成了超过350,000个裁剪区域，其大小为40×40，步长为20。此外，我们在训练过程中使用了另外10个血管造影图像来验证网络性能。在我们的实验中，更新参数的最小批大小为128。我们训练迭代了50次，并使用Adam算法对网络进行优化，前30代学习率为10-4，后20代学习率为10-5。网络训练和测试是在NVIDIA Titan Xp GPU上，在Python中使用Tensorflow库实现。
定量评价
本文从PSNR和SSIM两方面对原始数据进行了定量评价。PSNR被广泛应用于图像恢复质量的定量评价，而SSIM与图像的感知质量有关8，PSNR和SSIM越高，图像质量越好。由于PSNR和SSIM的计算需要小焦点采集的图像，并且真实临床图像的小焦点图像难以获得。因此，在实验室内，我们通过调整焦点尺寸，自行采集了仿真人体体模的造影图像，进行了定量评价。使用的仿真全身体模PH-2B CT（PBU-60）（Kyoto Kagaku，京都，日本）可模拟真实人体软组织，密度为1.061g/cm3，相对电子密度为0.975，重量为50公斤，长度为165厘米。仿真体模内含有一些器官，如肺腔和合成骨骼9。我们使用该仿真体模采集图像，构成了造影图像数据库，并从中随机选择了10组血管造影图像，比较了传统大焦点采集图像和我们提出的去模糊网络处理后的图像之间的PSNR和SSIM。
定性评价（或叫临床评价）
我们采用临床上常见的四种脑脊髓血管疾病的实际血管造影图像来评估我们提出的方法，包括动脉瘤（Aneurysm，AN）、动静脉畸形（Arteriovenous malformation，AVM）、脊髓动静脉畸形（Spinal arteriovenous malformation，SAVM）和脑血管狭窄。这些DSA图像来源于飞利浦医疗系统的AlluraXper、西门子的ARTIS、GE医疗系统的TERRA、东软医疗系统的NeuAngio30C这四家血管造影系统。
在2021年1月至5月期间，我们随机选择了80例DSA图像，包括20例AN图像、20例AVM图像、20例SAVM图像和20例脑血管狭窄图像。我们对收集的临床图像利用本文提出的方法进行了去模糊处理。该研究得到了我院伦理委员会的批准，研究中所有病例参与者都获得了知情同意。
由两名有10年以上治疗脑血管病经验的医生对这些图像进行盲法打分。评分标准是基于原始DSA图像与我们提出的方法处理后的去模糊图像间进行比较，评分标准如下：3分代表等效性能；4分和5分显示去模糊图像的性能优于原始DSA图像，5分表示非常优于。2分和1分表示原始DSA图像表现更好，其中1分表示去模糊后的图像对诊断过程产生了负面影响。
统计学分析
定量评估部分（PSNR/SSIM验证）采用描述性分析。在定性评估，也就是医师评分部分，对每种疾病、每位医师的打分进行Mann-Whitney U-test评分分析。每种疾病类型的中间得分（3分）被用作原假设。所有统计步骤均使用SPSS 26.0版本（IBM，NY，USA）进行。P值小于0.05被定义为具有统计学意义。
验证结果
表1展示了随机选择的10组模拟体模采集的血管造影图像的平均PSNR和SSIM结果。我们以球管大焦点的数据性能作为参考，本文中所提方法的PSNR增益约为4.7dB，SSIM提升了约0.04，与PSNR表现出相同的趋势。基于深度学习去模糊方法的平PSNR/SSIM（35.34/0.9566）优于大焦点图像（30.64/0.9163）。简而言之，我们提出的方法可以获得更好的图像质量。
表1 本文提出的去模糊神经网络处理后的图像和参考图像间的PSNR/SSIM对比
医生评价结果
对于动脉瘤病例，两名医生分别对85%和100%的DSA图像进行了4级和5级的评分，表明本文方法相对于原始DSA图像具有明显的优势；对于50%的病例图像，一位医生认为所提出的方法有助于临床治疗（表2）。
对于AVM和SAVM的几乎100%的病例，两位医生打出了4级和5级的打分结果，可以得出：我们提出的方法处理的去模糊图像发生了显著的改善。两位医生认为我们提出的方法对上述病例的治疗有50%以上的帮助（表2）。
脑血管狭窄组有8例颈动脉狭窄（包括1例闭塞）、8例颅内动脉狭窄（包括4例闭塞）和4例椎动脉狭窄。其中一名医生判定16例为4级或5级，另一名医生认为14例符合4级和5级的定义（表2）。
表2 医生反馈的分数总结和各种类型疾病的计算P值
结果展示
我们选择了一个AVM和一个SAVM病例中血管形态最充盈的帧来展示，证明了去模糊模型优化后的图像更清晰、更锐利；同时，在整个图像序列的早期阶段，它也能比常规大焦点成像提供更多的动静脉畸形的血管结构信息（如图2和图3所示）。
图2 该图显示了一例右额AVM的病例。A是大焦点情况下的脑血管造影成像；而B是去模糊后处理后的图像，其中血管看起来更清晰，背景噪声更少，整体血管和病灶更加锐利；C和D展示了AVM的动脉早期的去模糊前和去模糊处理后的图像，其中在D图中能够更清晰地观察两个微小分支（白色箭头），这有助于医生制定更好的治疗计划
图3 该图显示了一例脊髓前动脉供血的SAVM病例。A展示了大焦点情况下的正常脊柱血管造影成像，而B展示了去模糊后处理后的图像，该图像具有更清晰的血管。C和D展示的是动脉早期图像，与C中的大焦点图像相比，去模糊图像显示了沟连合动脉更为清晰的解剖结构。
神经外科医生和神经介入医生会定期对病人采集DSA图像以识别脑血管病变，或在介入和颅脑治疗程序之前或期间作为参考图像。几乎所有的DSA机器都可以提供不同的视野采集模式，以便在不同场景下使用。对于相同的视野，球管焦点小的图像比焦点大的图像更清晰。但由于剂量的限制，小焦点无法应用于小视野的图像，这会导致图像质量变差。但在介入治疗中，小视野通常用于血管病变的精确成像和实时成像，这就决定了小视野图像清晰度和锐利度的重要性。通过本文提出的神经网络构建的模型可以成功地在小视野下得到去模糊的大焦点图像，获得更清晰的图像，具有潜在的临床应用价值。
最近的几项研究都集中在提高DSA图像的清晰度和锐利度上，但它们的重点都与我们的研究不同。Amelung等人10提出了一种应用于平面探测器CT血管造影的金属伪影去除算法，可以提高图像评价。然而，他们的目的是减少后续图像中金属伪影的程度。Lang等人开发了一种基于人工智能（AI）的DSA序列算法，该算法可以更好地重建三维DSA，但对于提高术中实时DSA的清晰度没有帮助11。Setlur Nagesh等人12评估了一种称为高分辨率76µm高清（Hi-Def）模式的新系统，该系统提高了术后血管造影中管道栓塞装置的清晰度，但也与我们的研究重点不同。Hariharan等人13提出了一种时空去噪方法，其目的与我们的研究目的最为接近。然而，Hariharan的研究目的是用较低剂量的造影剂获得令人满意的DSA图像，并且算法与神经网络算法有很大不同。我们的算法专注于清晰化、锐利化大焦点图像，从而使医生在治疗时更清楚地观察DSA图像，从中获得更多的细节。我们的目标和算法都是创新的。
我们的结果还表明，在一些情况下，该算法可能对AVM和SAVM患者中有更大的应用。动静脉畸形的治疗需要非常详细地观察动静脉畸形的结构及其供血分支，而更清晰的图像可以使得神经介入医师能够更加方便地观察这些细节。在脑血管组，去模糊处理对于观察血管闭塞图像增益不大，但该技术可以使血管狭窄处更清晰，更容易测量。此外，我们的去模糊算法虽然没有在另一组AVM患者、大多数动脉瘤和脑血管狭窄患者的治疗中展现非常关键的改善，但它可以使图像更加清晰，这对医生和患者来说仍然是有用的。
此外，我们的DSA数据是从四种不同的血管造影系统中提取的。这说明去模糊技术可以很好地应用于各种血管造影系统的后处理过程。但不可否认的是，不同的血管造影系统，甚至同一系统不同的机器型号所获得的图像，在清晰度上难免存在差异。根据我们的结果，我们倾向于认为我们的技术可以提高各种血管造影系统中DSA图像的清晰度，但该技术处理的图像是否有助于治疗，更多地取决于医生的判断和疾病的类型。
一个明显的局限是，与其他研究相比，我们的研究中并没有包含造影辐射量的减少12,13。然而，我们认为，更清晰的图像肯定会减少由于图像质量问题而重复成像的次数，从而减少医生和病人受到的辐射暴露剂量。
我们开发了基于神经网络模型的去模糊技术，能够获得更清晰和更锐利的DSA图像，这已在本研究中得到验证。该技术在未来对于脑脊髓血管病治疗具有良好的应用前景。
伦理批准
本研究由我院机构伦理委员会批准（宣武医院，No.2017024，No.2017082）。
数据可用性声明
如有合理要求，可提供资料。由于数据的敏感性，通信作者可以根据合理的要求公开这些数据。
利益冲突声明
作者声明在本文的研究、作者身份和/或发表方面没有潜在的利益冲突。
经费
作者公开了在研究、写作和/或发表本文时获得的以下资助：
国家重点研发计划（资助号:2016YFC1300800），北京市科技计划（资助号:Z201100005520021）。
参考文献
通讯作者简介
何川 副主任医师
首都医科大学宣武医院
神经外科副主任医师
中国医师协会神经介入专业委员会常务委员
中国医师协会神经介入青年委员会副主任委员
中国医师协会神经介入专业委员会对外联络工作委员会副主任委员
专业范围为神经外科脑血管病和脊髓血管病，擅长脑血管病和脊髓血管病的开刀手术和介入手术治疗。年均主刀和合作完成各类开刀和介入治疗450余台，其中包括颅内动脉瘤介入栓塞和开颅夹闭术，脑血管畸形介入栓塞和开颅切除术，脊髓血管畸形介入栓塞和开刀切除术
张鸿祺 主任医师
首都医科大学宣武医院
主任医师，教授，博士生导师，现任首都医科大学宣武医院神经外科主任
世界介入神经放射联合会（WFITN）执行委员
亚洲及大洋洲介入神经放射联合会（AAFITN）执行委员
中国医师协会神经介入专业委员会主任委员
中华医学会神经外科学分会常委
中国老年学学会心脑血管病专业委员会常务理事
北京医学会神经外科分会副主委
《中国脑血管病杂志》《中国微侵袭神经外科杂志》编委、《JNIS》中文版主编
多年来，一直从事脑与脊髓血管病的外科和介入治疗，在脑动脉瘤、颅脑血管畸形、脊髓血管畸形等方面的临床和研究工作处于国内外领先水平。承担及完成“十三五”国家重点研发专项、国家自然科学基金项目等各级科研课题20项，在《JAMA Neurology》《BRAIN》《Annals of Neurology》等学术期刊发表论著170余篇，曾获国家科技进步二等奖
点击或扫描上方二维码
查看更多“介入”内容
