2023年11月7日,解放军总医院第一医学中心神经外科医学部陈晓雷教授团队通过与德国专家团队合作,研发了一种无需标记物的混合现实神经导航定位新技术,相关研究论文“A novel registration method for a mixed reality navigation system based on a laser crosshair simulator: A technical note.”发表在转化医学领域的知名期刊《Bioengineering》上。
这项研究介绍了一种基于激光十字准线模拟器的新型注册方法,用于混合现实导航系统,并验证了其可行性、准确性和效率。这一研究结果表明,该技术具有低成本、简便和高效的特点,具有良好的应用前景。
解放军总医院第一医学中心神经外科医学部祁子禹博士担任该论文的第一作者,陈晓雷、张家墅教授与德国Marburg大学医院神经外科Prof. Dr. Christopher Nimsky,Dr. Miriam H.A. Bopp为共同通讯作者。此外,解放军总医院第一医学中心的徐兴华博士、王群博士、干智超博士、张世宇医师、王静岳医师和靳海涛医师也为这篇论文的合著作者。
原文链接:https://www.mdpi.com/2306-5354/10/11/1290
研究背景
激光准线模拟器简介
在商用导航系统的注册方法中,有一种经典且实用的解决方案,即为CT/MRI扫描仪配备参考标记,并在参考图像采集时借助红外摄像机跟踪扫描仪的位置,从而建立参考图像坐标系与通用坐标系(例如世界坐标系)之间的转换关系。这种自动注册方法已经在多模态商用导航系统中成熟应用,它被证明可以消除用户依赖性,提高导航精度。因此,可以合理地假设,将这种自动注册方法应用于MRN系统中也将有助于克服当前高度依赖用户的局限,从而提高导航精度。
然而,这种自动注册方法无法直接应用于MRN系统的工作流程中(图1)。在CT或MRI扫描期间,医生和工作人员通常需要保持远离扫描仪,以避免电离辐射危害或电磁干扰。由于光学跟踪组件被集成在HMD上,医生在扫描期间远离扫描仪会导致光学跟踪的中断,从而无法直接获取扫描仪在扫描期间相对于世界坐标系的位置信息。为了解决这一问题,作者团队提出了激光十字准线模拟器(Laser Crosshair Simulator, LCS)的概念,并设计制作了用于概念验证(Proof-of-Concept, PoC)的最小可行产品。通过投射激光十字准线,可以模拟患者身上的图像采集位置,实现扫描参数的时空传递,从而自动计算跟踪空间和参考图像之间的变换关系。
LCS由机架、两枚激光发射器以及混合现实接口(以下简称MR接口)组成,如图2所示:机架采用“L”形不锈钢拼接框架,用于挂载其他组件,例如激光发射器。用户可以使用手柄来灵活调整机架在空间中的位置和方向,然后使用机械臂将其稳固锁定(见图2A)。两枚激光发射器(波长:650 nm,功率:12 mW)水平和垂直固定在机架的臂上。它们在模拟器内投射两组激光十字准线,这些十字准线的中心线位于共面且彼此垂直。这种配置在空间中创建了三个正交平面,形成模拟器坐标系(SCS)。当有物体暴露在激光下时,它将在其顶部和侧面接收到十字准线投影,类似于CT或MRI扫描仪中观察到的定位十字准线(见图2B)。MR接口由不锈钢面板制成(尺寸:6 cm × 6 cm),面板上印有计算机视觉(Computer Vision, CV)可识别的目标图像,该面板被牢固地固定在机架上。MR接口建立了跟踪和虚拟空间之间的关系。一旦HMD检测到目标图像并进行识别,虚拟空间将以目标图像的几何中心作为原点进行初始化。这一过程是通过使用Vuforia SDK实现的。
在原文中,作者团队运用数学方法对LCS的校准原理(见图3和图4)以及注册原理(见图5)进行了严密的证明,具体细节可参考原文中2.1.2至2.1.4小节中的数学公式推导。
图3. LCS校准原理的数学模型。图中标明了三个坐标系,包括模拟器坐标系(Simulator Coordinate System,SCS,红色)、参考图像坐标系(Reference Image Coordinate System,RICS,棕色)以及虚拟坐标系(Virtual Coordinate System,VCS,绿色)。坐标系之间的变换关系用彩色箭头编码的颜色梯度来表示。校准原理依赖于物理和虚拟标定球,数学表达式描述了内参和外参矩阵的校准过程。
图4. 使用自定义标定球(A)对内参和外参矩阵进行校准的过程。内参标定包括利用标定球上的八个已知正交标定位置完成,如(B)和(C)所示。而外部标定由用户在自行研发的“MR Platform”软件中完成,通过操作按钮和滑块,将虚拟标定球与物理标定球完美对齐,表示外参标定已完成,如(D)和(E)所示。
图5. LCS注册原理的数学模型。在图中,各个坐标系包括世界坐标系(蓝色)、扫描仪坐标系(紫色)、参考图像坐标系(RICS,棕色)、模拟器坐标系(SCS,红色)、虚拟坐标系(VCS,绿色)以及头戴式显示器坐标系(HMD,浅蓝色),它们之间的转换关系用颜色梯度编码的彩色箭头表示。
新注册技术的工作流程及测试
在原文中,作者团队详细介绍了基于LCS注册的MRN系统工作流程(见图6),主要包括以下步骤:(1) 扫描仪激光定位投影线标记,(2) 图像分割、三维重建和全息模型生成,(3) 部署LCS,以及(4) 全息模型的导入和更新。
图6. 基于LCS注册的MRN系统工作流程示意图(图中,OR代表手术室)
为了评估这种注册方法的可行性和准确性,作者团队使用了基于患者CT影像数据的1:1真实头颅模型(见图7)。该CT影像数据来源于一名63岁男性患者,他因右侧前基底节丘脑出血于2021年1月在作者单位接受立体定向下血肿穿刺抽吸治疗。在CT扫描时,头皮上贴有6个基准标记物,用作参考图像中的已知参考点。这些标记物与新注册方法无关,因此可作为验证基于LCS注册方法准确性的真实值(Ground Truth)。
在测试中,作者团队进行了基于LCS的MRN系统注册,利用配套软件中的定制虚拟探针采集所感知的现实世界标记物位置。软件自动计算并报告6个测量点相对于参考图像空间的坐标。作者团队进行了三次独立的注册,每次注册下进行了三轮独立测量,共采集了54个测量点的三维坐标。然后,作者团队计算了实际测量点到标记物质心的三维欧式距离,用作靶标配准误差(Target Registration Error, TRE)的标量,以表征MRN系统的初始注册精度。此外,还进行了整个头部的误差外推分析,以进行精度可视化。
图7.概述基于LCS的MRN系统注册过程及精度测试的说明性案例。首先,作者团队使用一位患者的CT成像数据(A),显示头皮上粘贴的标记物。然后,使用3D Slicer开源软件平台(B)找到扫描仪的激光定位投影线,重现在患者皮肤表面,并准备了1:1的3D打印模型(C),其中激光投影线标记为红色。接下来,使用3D Slicer软件创建了一组用于验证的全息图(D),包括血肿(红色)、穿刺路径(绿色)、标记物(黄色)以及由参考平面划分的头皮象限(青色)。作者通过调整十字准线模拟器,轻松使LCS的激光投影线与3D打印头颅模型上的标记线完美匹配(E),然后导入的全息模型与3D打印模型(F)完美对齐,表明注册成功。在测试中,使用3D Slicer软件自动分析并计算了6个标记物的质心坐标(绿框),作为精度分析的参考。作者通过在MRN系统的软件中操作虚拟探针,采集了所感知的现实世界标记物位置,如红色框(H)所示。最后,将这些测量点导入到3D Slicer软件中进行分析。图7.概述基于LCS的MRN系统注册过程及精度测试的说明性案例。首先,作者团队使用一位患者的CT成像数据(A),显示头皮上粘贴的标记物。然后,使用3D Slicer开源软件平台(B)找到扫描仪的激光定位投影线,重现在患者皮肤表面,并准备了1:1的3D打印模型(C),其中激光投影线标记为红色。接下来,使用3D Slicer软件创建了一组用于验证的全息图(D),包括血肿(红色)、穿刺路径(绿色)、标记物(黄色)以及由参考平面划分的头皮象限(青色)。作者通过调整十字准线模拟器,轻松使LCS的激光投影线与3D打印头颅模型上的标记线完美匹配(E),然后导入的全息模型与3D打印模型(F)完美对齐,表明注册成功。在测试中,使用3D Slicer软件自动分析并计算了6个标记物的质心坐标(绿框),作为精度分析的参考。作者通过在MRN系统的软件中操作虚拟探针,采集了所感知的现实世界标记物位置,如红色框(H)所示。最后,将这些测量点导入到3D Slicer软件中进行分析。
结果
讨论
局限性
结论
致谢
作者团队衷心感谢中国农业大学张晖博士在本研究过程中提供的宝贵支持与帮助。
(中国人民解放军总医院第一医学中心祁子禹博士编译,张家墅、陈晓雷教授审校)
第一作者简介
祁子禹 神经外科学博士研究生 住院医师
德国马尔堡大学
(Philipps University of Marburg)
本科毕业于南开大学医学院获临床医学学士学位,并获中国农业大学动物医学第二学士学位
硕士毕业于南开大学医学院,师从陈晓雷教授,从事简易低成本导航技术的研发,获外科学专业型硕士学位,在解放军总医院第一医学中心完成神经外科方向住院医师规范化培训
德国马尔堡大学医学系注册博士生,师从Dr. Christopher Nimsky教授及Dr. Miriam H.A. Bopp副教授,从事神经外科混合现实导航系统的深入研发及评估
德国马尔堡大学医院(UKGM)神经外科 — 访问学者
医海医考住培结业考试研究中心 — 外科学专业讲师
美国神经外科医师协会(AANS) — 住院医师/研究员分会成员
以第一作者身份在《Journal of Neurosurgery》、《Neurosurgical focus》、《中华外科杂志》等国内外著名期刊发表SCI论著4篇
主要专家简介
陈晓雷 教授
解放军总医院第一医学中心
解放军总医院第一医学中心神经外科医学部副主任
解放军总医院神经外科主任医师,教授,医学博士
北京医学会神经外科学分会第六届青年委员会副主任委员
中国医师协会内镜分会神经内镜专业委员会委员
中国医师协会脑胶质瘤专业委员会委员
中国医师协会神经修复专业委员会委员
从事神经外科临床工作30年,有丰富的临床经验。擅长术中磁共振和多模态神经导航下的脑重要功能区手术以及神经内窥镜手术。2009年在国内率先开展高场强术中磁共振和多模态神经导航的临床工作,所带领团队是该方面国内手术数量最多,经验最丰富的小组。2004年自德国归国后,积极开展了神经内镜手术。2008年在国内较早地开发了高血压脑出血神经内镜治疗的完整临床工作流程,并研发了相应的器械(获国家发明专利及医疗器械注册证,已在国内200余家医院临床常规使用)和定位技术。2023年荣获第六届“国之名医”荣誉称号
张家墅 副教授
解放军总医院
Dr. Miriam Bopp
米里亚姆·波普 副教授
研究员、副教授、自然科学博士
德国马尔堡大学医院(UKGM)神经外科医学技术实验室主任
德国计算机和机器人辅助外科学会(CURAC)会员
Dr. Miriam Bopp 拥有在神经外科影像学和图像处理领域15年的临床经验,是德国马尔堡大学医院神经外科医学技术实验室的主任。作为一名计算机科学家,她自2009年起在神经外科部门从事研究工作。她的研究涵盖了多模态成像(包括MRI、扩散成像、功能MRI和MRI波谱、CT、超声、荧光成像)、高级图像处理、神经导航、增强现实以及多模态数据的术中整合等广泛领域
Prof. Dr. Christopher Nimsky
克里斯托弗·尼姆斯基 教授
主任医师、教授、医学博士
德国马尔堡大学神经外科医院(NCH-UKGM)院长
学术任职:
德意志神经外科医师协会(DGNC)历任副主席、执行委员
欧洲神经外科学会(EANS)委员
美国神经外科医师协会(AANS)国际委员
世界术中影像学会(IOIS)秘书兼董事会成员
德国计算机和机器人辅助手术学会(CURAC)创始成员
Prof. Dr. Christopher Nimsky是神经外科和神经影像学领域的杰出专家,拥有超过40年的丰富临床经验及研究经验。他在弥散张量成像(DTI)、白质纤维束示踪技术、神经导航技术以及增强现实(AR)技术方面具有卓越的专业知识。他的杰出研究工作已在多家国际知名期刊上发表,并使他成为世界范围内备受尊敬的DTI和功能神经导航领域的专家
声明:脑医汇旗下神外资讯、神介资讯、神内资讯、脑医咨询、AiBrain 所发表内容之知识产权为脑医汇及主办方、原作者等相关权利人所有。