2023年11月14日发布 | 2371阅读

【中国声音】陈晓雷教授团队研发混合现实神经导航定位新技术:基于激光十字准线模拟器的免标记物注册方法

祁子禹

解放军总医院第一医学中心

陈晓雷

中国人民解放军总医院(301医院)

张家墅

解放军总医院第一医学中心

Dr. Miriam Bopp

德国Marburg大学医院

Prof. Dr. Christopher Nimsky

德国Marburg大学医院

徐兴华

中国人民解放军总医院(301医院)

王群

中国人民解放军总医院第一医学中心

干智超

解放军总医院第一医学中心

张世宇

解放军总医院第一医学中心

王静岳

解放军总医院第一医学中心

靳海涛

解放军总医院第一医学中心

达人收藏

2023年11月7日,解放军总医院第一医学中心神经外科医学部陈晓雷教授团队通过与德国专家团队合作,研发了一种无需标记物的混合现实神经导航定位新技术,相关研究论文“A novel registration method for a mixed reality navigation system based on a laser crosshair simulator: A technical note.”发表在转化医学领域的知名期刊《Bioengineering》上。


这项研究介绍了一种基于激光十字准线模拟器的新型注册方法,用于混合现实导航系统,并验证了其可行性、准确性和效率。这一研究结果表明,该技术具有低成本、简便和高效的特点,具有良好的应用前景。


解放军总医院第一医学中心神经外科医学部祁子禹博士担任该论文的第一作者,陈晓雷、张家墅教授与德国Marburg大学医院神经外科Prof. Dr. Christopher Nimsky,Dr. Miriam H.A. Bopp为共同通讯作者。此外,解放军总医院第一医学中心的徐兴华博士、王群博士、干智超博士、张世宇医师、王静岳医师靳海涛医师也为这篇论文的合著作者。



原文链接:https://www.mdpi.com/2306-5354/10/11/1290




研究背景

商用神经导航系统是神经外科显微手术的重要辅助工具,能够实现手术的高精度微创。神经导航系统将术前图像与患者的实际解剖结构相匹配,以跟踪手术器械在患者体内的位置,从而实现对手术范围的精确控制,保护神经功能结构不受损伤。然而,传统的神经导航系统通常需要庞大的设备,包括红外摄像机、导航工作站等昂贵的组件,成本往往超过200万元。此外,系统的复杂工作流程要求整个手术团队,包括外科医生、手术室工作人员和麻醉医生,都必须熟悉操作,这增加了使用的难度。


面对这些挑战,陈晓雷教授团队一直致力于低成本导航系统替代方案的研究和开发。作者团队在2021年8月的《Neurosurgical FOCUS》杂志上发表了一项重要研究(推荐阅读:【中国声音】头戴式全息混合现实神经导航系统:技术可行性及临床应用,介绍了基于头戴式显示器(Head Mounted Device, HMD)的小型、低成本、易于操作的混合现实导航(Mixed Reality Navigation, MRN)解决方案。该解决方案可用于颅内病变患者的术前快速定位,与传统的神经导航系统进行了比较,证明了其可行性和准确性。此外,团队还进一步开发了多模态MRN系统,并在远程协助、用户感知和精度测量等方面取得了一系列进展。这些成果发表在《Neurosurgical FOCUS》、《Journal of Neurosurgery》、《中华外科杂志》等国内外知名学术期刊上(推荐阅读:【中国声音】基于三维视觉的新型神经外科手术协作机器人:技术可行性研究


然而,随着研究的深入,MRN技术的局限性也逐渐显现。例如,传统方法依赖于用户的注册过程,且存在相对较高的空间定位误差,因此尚无法完全替代商用导航系统。为解决这些局限,团队开发了一种低用户依赖性、高精度的免标记注册方法。这一方法的关键之处在于利用激光十字准线模拟器来建立与CT/MRI扫描仪相同的坐标原点,从而显著降低了注册过程中的人为不确定性。该技术低成本、简易而高效的特点使之有望在基层医院推广。最新的研究成果已于2023年11月发表在《Bioengineering》杂志的《Extended Reality Technologies, Medical Robotics Solutions, and Deep Learning in Translational Medicine》专刊上。

激光准线模拟器简介

在商用导航系统的注册方法中,有一种经典且实用的解决方案,即为CT/MRI扫描仪配备参考标记,并在参考图像采集时借助红外摄像机跟踪扫描仪的位置,从而建立参考图像坐标系与通用坐标系(例如世界坐标系)之间的转换关系。这种自动注册方法已经在多模态商用导航系统中成熟应用,它被证明可以消除用户依赖性,提高导航精度。因此,可以合理地假设,将这种自动注册方法应用于MRN系统中也将有助于克服当前高度依赖用户的局限,从而提高导航精度。


然而,这种自动注册方法无法直接应用于MRN系统的工作流程中(图1)。在CT或MRI扫描期间,医生和工作人员通常需要保持远离扫描仪,以避免电离辐射危害或电磁干扰。由于光学跟踪组件被集成在HMD上,医生在扫描期间远离扫描仪会导致光学跟踪的中断,从而无法直接获取扫描仪在扫描期间相对于世界坐标系的位置信息。为了解决这一问题,作者团队提出了激光十字准线模拟器(Laser Crosshair Simulator, LCS)的概念,并设计制作了用于概念验证(Proof-of-Concept, PoC)的最小可行产品。通过投射激光十字准线,可以模拟患者身上的图像采集位置,实现扫描参数的时空传递,从而自动计算跟踪空间和参考图像之间的变换关系。


图1. 光学跟踪信号中断(A)是MRN整合自动配准技术的最大挑战,因为医生必须在图像采集期间远离扫描仪。下图(B)展示了基于LCS的MRN注册原理,即将激光定位投影线的位置信息(红色)从扫描仪传递给LCS(青色),从而建立参考影像坐标系与患者所在的世界坐标系之间的联系。


LCS由机架、两枚激光发射器以及混合现实接口(以下简称MR接口)组成,如图2所示:机架采用“L”形不锈钢拼接框架,用于挂载其他组件,例如激光发射器。用户可以使用手柄来灵活调整机架在空间中的位置和方向,然后使用机械臂将其稳固锁定(见图2A)。两枚激光发射器(波长:650 nm,功率:12 mW)水平和垂直固定在机架的臂上。它们在模拟器内投射两组激光十字准线,这些十字准线的中心线位于共面且彼此垂直。这种配置在空间中创建了三个正交平面,形成模拟器坐标系(SCS)。当有物体暴露在激光下时,它将在其顶部和侧面接收到十字准线投影,类似于CT或MRI扫描仪中观察到的定位十字准线(见图2B)。MR接口由不锈钢面板制成(尺寸:6 cm × 6 cm),面板上印有计算机视觉(Computer Vision, CV)可识别的目标图像,该面板被牢固地固定在机架上。MR接口建立了跟踪和虚拟空间之间的关系。一旦HMD检测到目标图像并进行识别,虚拟空间将以目标图像的几何中心作为原点进行初始化。这一过程是通过使用Vuforia SDK实现的。


图2. LCS的结构和功能示意图。左图(A)显示了LCS模拟扫描仪机架的激光定位线,在患者头部投射形成两个“十”字线,这个投影结果与在使用CT/MRI扫描仪时观察到的投影相同(图2B)


在原文中,作者团队运用数学方法对LCS的校准原理(见图3和图4)以及注册原理(见图5)进行了严密的证明,具体细节可参考原文中2.1.2至2.1.4小节中的数学公式推导。


图3. LCS校准原理的数学模型。图中标明了三个坐标系,包括模拟器坐标系(Simulator Coordinate System,SCS,红色)、参考图像坐标系(Reference Image Coordinate System,RICS,棕色)以及虚拟坐标系(Virtual Coordinate System,VCS,绿色)。坐标系之间的变换关系用彩色箭头编码的颜色梯度来表示。校准原理依赖于物理和虚拟标定球,数学表达式描述了内参和外参矩阵的校准过程。


图4. 使用自定义标定球(A)对内参和外参矩阵进行校准的过程。内参标定包括利用标定球上的八个已知正交标定位置完成,如(B)和(C)所示。而外部标定由用户在自行研发的“MR Platform”软件中完成,通过操作按钮和滑块,将虚拟标定球与物理标定球完美对齐,表示外参标定已完成,如(D)和(E)所示。


图5. LCS注册原理的数学模型。在图中,各个坐标系包括世界坐标系(蓝色)、扫描仪坐标系(紫色)、参考图像坐标系(RICS,棕色)、模拟器坐标系(SCS,红色)、虚拟坐标系(VCS,绿色)以及头戴式显示器坐标系(HMD,浅蓝色),它们之间的转换关系用颜色梯度编码的彩色箭头表示。



新注册技术的工作流程及测试

在原文中,作者团队详细介绍了基于LCS注册的MRN系统工作流程(见图6),主要包括以下步骤:(1) 扫描仪激光定位投影线标记,(2) 图像分割、三维重建和全息模型生成,(3) 部署LCS,以及(4) 全息模型的导入和更新。


图6. 基于LCS注册的MRN系统工作流程示意图(图中,OR代表手术室)


为了评估这种注册方法的可行性和准确性,作者团队使用了基于患者CT影像数据的1:1真实头颅模型(见图7)。该CT影像数据来源于一名63岁男性患者,他因右侧前基底节丘脑出血于2021年1月在作者单位接受立体定向下血肿穿刺抽吸治疗。在CT扫描时,头皮上贴有6个基准标记物,用作参考图像中的已知参考点。这些标记物与新注册方法无关,因此可作为验证基于LCS注册方法准确性的真实值(Ground Truth)。


在测试中,作者团队进行了基于LCS的MRN系统注册,利用配套软件中的定制虚拟探针采集所感知的现实世界标记物位置。软件自动计算并报告6个测量点相对于参考图像空间的坐标。作者团队进行了三次独立的注册,每次注册下进行了三轮独立测量,共采集了54个测量点的三维坐标。然后,作者团队计算了实际测量点到标记物质心的三维欧式距离,用作靶标配准误差(Target Registration Error, TRE)的标量,以表征MRN系统的初始注册精度。此外,还进行了整个头部的误差外推分析,以进行精度可视化。


图7.概述基于LCS的MRN系统注册过程及精度测试的说明性案例。首先,作者团队使用一位患者的CT成像数据(A),显示头皮上粘贴的标记物。然后,使用3D Slicer开源软件平台(B)找到扫描仪的激光定位投影线,重现在患者皮肤表面,并准备了1:1的3D打印模型(C),其中激光投影线标记为红色。接下来,使用3D Slicer软件创建了一组用于验证的全息图(D),包括血肿(红色)、穿刺路径(绿色)、标记物(黄色)以及由参考平面划分的头皮象限(青色)。作者通过调整十字准线模拟器,轻松使LCS的激光投影线与3D打印头颅模型上的标记线完美匹配(E),然后导入的全息模型与3D打印模型(F)完美对齐,表明注册成功。在测试中,使用3D Slicer软件自动分析并计算了6个标记物的质心坐标(绿框),作为精度分析的参考。作者通过在MRN系统的软件中操作虚拟探针,采集了所感知的现实世界标记物位置,如红色框(H)所示。最后,将这些测量点导入到3D Slicer软件中进行分析。图7.概述基于LCS的MRN系统注册过程及精度测试的说明性案例。首先,作者团队使用一位患者的CT成像数据(A),显示头皮上粘贴的标记物。然后,使用3D Slicer开源软件平台(B)找到扫描仪的激光定位投影线,重现在患者皮肤表面,并准备了1:1的3D打印模型(C),其中激光投影线标记为红色。接下来,使用3D Slicer软件创建了一组用于验证的全息图(D),包括血肿(红色)、穿刺路径(绿色)、标记物(黄色)以及由参考平面划分的头皮象限(青色)。作者通过调整十字准线模拟器,轻松使LCS的激光投影线与3D打印头颅模型上的标记线完美匹配(E),然后导入的全息模型与3D打印模型(F)完美对齐,表明注册成功。在测试中,使用3D Slicer软件自动分析并计算了6个标记物的质心坐标(绿框),作为精度分析的参考。作者通过在MRN系统的软件中操作虚拟探针,采集了所感知的现实世界标记物位置,如红色框(H)所示。最后,将这些测量点导入到3D Slicer软件中进行分析。


结果

基于LCS的MRN注册流程能够成功实施。LCS的部署大约需要2-3分钟的时间,而将全息模型导入MRN软件平台则需要大约1-2分钟。为了展示注册以及应用MRN系统所提供的沉浸式用户体验,作者团队提供了详细说明的视频(视频1)。


视频1. MR Platform:基于LCS的全息模型注册

整合了LCS的MRN系统在初始注册精度方面表现出了令人满意的结果,平均TRE为3.7 ± 1.7毫米。其中,81.5% 的测量点的TRE低于5毫米。在三次独立的注册以及六个标记物之间,TRE测量值的差异并没有显著统计学差异(参见表1和图8)。


1. 按注册及标记物分组的准确性数据


图8 . 精度测试结果。(A)颜色梯度散点图显示了所有测量点的TRE(Target Registration Error)。不同注册(红色-第1次、青色-第2次、蓝色-第3次)的叠加结果如(B)所示,图例中R代表配准,M代表测量,数字表示对应的测量编号,例如,“R1M1”代表第1次配准的第1次测量。(C)利用最小二乘法进行全头颅误差外推,结果呈现在图C中,展示了全头部误差的分布情况。(D)直方图显示了TRE在三维空间中沿主轴(X、Y、Z)的分布。(E)箱线图比较了不同标记物(A、B、C、D、E、F)分组的组间TRE差异以及主轴分量差异的偏差。箱图中的须线代表第一四分位数(Q1)和第三四分位数(Q3)1.5倍四分位数范围 (IQR) 内的最小值和最大值。任何超出此范围的数据点均被视为异常值,并用红叉(+)标记。

讨论

本研究提出并评估了一种新型MRN注册方法,利用LCS来解决现有MRN系统中普遍存在的用户依赖性、成本效益和准确性等挑战。尽管已经有很多研究评估了MRN系统在支持各种神经外科手术中的准确性,但对于新颖的配准方法研发方面的进展仍然有限。因此,本研究的创新点在于提出了基于LCS注册的概念,而不仅仅专注于MRN系统如何辅助特定的神经外科手术。


在现有的注册方法中,基于手动虚实对齐或基于标记点的MRN注册方法存在引入人工误差的风险,操作繁琐且不够可靠。与此不同,已有的免标记MRN系统注册方法受到硬件限制,对患者皮肤表面的映射粗糙,且对数据噪声非常敏感,因此具有较大的复杂性和计算资源消耗。LCS的设计和研发提供了一种更直接、更能增强医师信心的注册方法。在这个注册过程中,用户的任务仅仅是物理对齐两个激光交叉投影,相比之下,这要比处理非接触式虚拟对象更容易实现。此外,它还消除了标注标记物或使用自定义探针过程中的用户依赖性,因为扫描参考平面在影像中是独立于用户的。这三个参考平面相互正交,使得配准过程具有全局平均特征。此外,该系统易于组装和配置。在硬件方面,制作十字准线模拟器相对简单,制造成本较低。在软件方面,所涉及的跟踪和渲染不需要大量的计算资源。

局限性

基于LCS的MRN注册方法具有以下局限性:首先,该方法的光学追踪是基于Vuforia SDK实现的,因此受到HoloLens-2软硬件的限制,用户相对于MR接口的视角可能会影响LCS目标的跟踪质量。第二,将该方法应用于支持俯卧位神经外科手术存在挑战。一方面,很难在仰卧位的扫描协议下对患者枕部的激光定位线进行标注,一种可能的解决方案是采用俯卧位的扫描协议。另一方面,顶枕部皮肤的曲率半径较大,因此LCS的俯卧位注册效率不如在额-鼻部皮肤的仰卧位注册高效(如图9所示)。最后,LCS的校准过程目前仍然依赖于用户,例如用户需要手动部署LCS并设置虚拟或物理标定球的位置。然而,校准并不是每次注册前都必须执行的步骤,只要两枚激光发射器相对于MR接口的相对位置没有改变,校准可以保持稳定。目前,作者团队正在积极探索整合机器人模块来改进校准过程,采用“自改变自对接”技术,以消除校准过程中的用户依赖性。


图9. 激光十字线投影在大曲率半径(A)和小曲率半径(B)区域的比较。作者利用MATLAB软件(R2022a)进行了投影仿真,为了简化计算,绘制了两个具有不同开口和曲率的双曲抛物面。该仿真假设在LCS的部署过程中,模拟器激光(红线)与扫描仪激光(如绿线所示)之间存在轻微的角度差异,导致投影线无法与标记线完美匹配。这种不匹配在曲率半径较小的区域更为显著,这也有助于用户及时发现注册错误并调整模拟器的部署。因此,小曲率半径的皮肤区域(例如患者的鼻尖)对于注册过程而言更加关键,因为在这些区域,LCS的注册效率更高。

结论

本研究提出了一种基于激光十字准线模拟器的新颖注册方法,用于混合现实导航系统,初步验证了其可行性、准确性和高效性。这项技术具有低成本、简易而高效的特点,具有良好的应用前景,但仍需更大样本量的研究和临床应用中进一步验证和技术优化。

致谢


作者团队衷心感谢中国农业大学张晖博士在本研究过程中提供的宝贵支持与帮助。




(中国人民解放军总医院第一医学中心祁子禹博士编译,张家墅陈晓雷教授审校)


第一作者简介

祁子禹 神经外科学博士研究生 住院医师

德国马尔堡大学

(Philipps University of Marburg)

本科毕业于南开大学医学院获临床医学学士学位,并获中国农业大学动物医学第二学士学位

硕士毕业于南开大学医学院,师从陈晓雷教授,从事简易低成本导航技术的研发,获外科学专业型硕士学位,在解放军总医院第一医学中心完成神经外科方向住院医师规范化培训

德国马尔堡大学医学系注册博士生,师从Dr. Christopher Nimsky教授及Dr. Miriam H.A. Bopp副教授,从事神经外科混合现实导航系统的深入研发及评估

德国马尔堡大学医院(UKGM)神经外科 — 访问学者

医海医考住培结业考试研究中心 — 外科学专业讲师

美国神经外科医师协会(AANS) — 住院医师/研究员分会成员

以第一作者身份在《Journal of Neurosurgery》、《Neurosurgical focus》、《中华外科杂志》等国内外著名期刊发表SCI论著4篇


主要专家简介

陈晓雷 教授

解放军总医院第一医学中心

解放军总医院第一医学中心神经外科医学部副主任

解放军总医院神经外科主任医师,教授,医学博士

北京医学会神经外科学分会第六届青年委员会副主任委员

中国医师协会内镜分会神经内镜专业委员会委员

中国医师协会脑胶质瘤专业委员会委员

中国医师协会神经修复专业委员会委员

从事神经外科临床工作30年,有丰富的临床经验。擅长术中磁共振和多模态神经导航下的脑重要功能区手术以及神经内窥镜手术。2009年在国内率先开展高场强术中磁共振和多模态神经导航的临床工作,所带领团队是该方面国内手术数量最多,经验最丰富的小组。2004年自德国归国后,积极开展了神经内镜手术。2008年在国内较早地开发了高血压脑出血神经内镜治疗的完整临床工作流程,并研发了相应的器械(获国家发明专利及医疗器械注册证,已在国内200余家医院临床常规使用)和定位技术。2023年荣获第六届“国之名医”荣誉称号


张家墅 副教授

解放军总医院

解放军总医院神经外科医学部副主任医师、副教授、神经外科学博士
先后就读于第一、第四军医大学及解放军医学院获硕士、博士学位。
擅长脑肿瘤、脑出血、脑积水和小儿神经外科疾病的显微和内镜治疗,以及术中影像(术中磁共振、术中CT、术中超声)、多模态导航及电生理监测辅助的脑功能区肿瘤的外科治疗
现任中国研究型医院学会精准神经外科专业委员会常委兼副秘书长,中国医师协会神经外科医师分会青年委员会委员,中国医师协会神经外科医师分会医学英语教育与培训委员会委员,北京市医学会神经外科学分会颅脑创伤学组委员
承担国家和军队课题5项,以第一作者发表论文26篇(SCI 12篇 MEDLINE 5篇),参编专著3部,获得专利2项,享受军队优秀技术人才三类岗位津贴

Dr. Miriam Bopp

米里亚姆·波普 副教授

研究员、副教授、自然科学博士

德国马尔堡大学医院(UKGM)神经外科医学技术实验室主任

德国计算机和机器人辅助外科学会(CURAC)会员

Dr. Miriam Bopp 拥有在神经外科影像学和图像处理领域15年的临床经验,是德国马尔堡大学医院神经外科医学技术实验室的主任。作为一名计算机科学家,她自2009年起在神经外科部门从事研究工作。她的研究涵盖了多模态成像(包括MRI、扩散成像、功能MRI和MRI波谱、CT、超声、荧光成像)、高级图像处理、神经导航、增强现实以及多模态数据的术中整合等广泛领域


Prof. Dr. Christopher Nimsky

克里斯托弗·尼姆斯基 教授

主任医师、教授、医学博士

德国马尔堡大学神经外科医院(NCH-UKGM)院长

学术任职:

德意志神经外科医师协会(DGNC)历任副主席、执行委员

欧洲神经外科学会(EANS)委员

美国神经外科医师协会(AANS)国际委员

世界术中影像学会(IOIS)秘书兼董事会成员

德国计算机和机器人辅助手术学会(CURAC)创始成员

Prof. Dr. Christopher Nimsky是神经外科和神经影像学领域的杰出专家,拥有超过40年的丰富临床经验及研究经验。他在弥散张量成像(DTI)、白质纤维束示踪技术、神经导航技术以及增强现实(AR)技术方面具有卓越的专业知识。他的杰出研究工作已在多家国际知名期刊上发表,并使他成为世界范围内备受尊敬的DTI和功能神经导航领域的专家

声明:脑医汇旗下神外资讯、神介资讯、神内资讯、脑医咨询、AiBrain 所发表内容之知识产权为脑医汇及主办方、原作者等相关权利人所有。

投稿邮箱:NAOYIHUI@163.com 

未经许可,禁止进行转载、摘编、复制、裁切、录制等。经许可授权使用,亦须注明来源。欢迎转发、分享。

最新评论
发表你的评论
发表你的评论
来自于专栏
关键词搜索