语言类脑机接口（BCI）被视为闭锁综合征（LIS）患者重建与世界连接的核心桥梁。目前，脑机接口已通过分解音素的方式实现每分钟78个单词的解码效率，但汉语独特的语言属性——海量同音词、近音词与声调依赖——构成了难以简单迁移的技术壁垒：完全相同的发音“/ting2/”可对应“停、庭、亭”等多个语义迥异的汉字，而“好看/hao3kan4”与“好瞰/hao3kan4”等近音现象更在日常表达中高频出现。仅靠“声调+音节”的解码范式无法从根本上解决歧义问题，汉语口语意图识别始终停留在较低的实用水平，如何在神经信号层面同时捕捉语音与语义信息，成为该领域亟待突破的关键瓶颈。

2026年7月，获得国家知识产权局授权的发明专利“一种基于音-义整合双模型的汉语口语意图识别脑机接口系统”（授权公告号：CN121560160B）给出了创新性解决方案。该专利由首都医科大学附属北京天坛医院团队研发，首次提出将汉语口语表达的语音与语义信息在神经编码层面进行双路并行解码，通过立体定向颅内脑电图（SEEG）技术同时采集大脑构音运动编码区与语义概念组织编码区的神经活动，从根本上破解了汉语同音字、近音词的歧义难题，为脑卒中、肌萎缩侧索硬化症（ALS）等可能导致闭锁综合征的中枢神经疾病患者提供了精准的交互工具。

这套系统的核心巧思，在于跳出了“语音合成”的单一维度，将口语表达拆解为“发声启动-语音解码-语义解码-融合输出”四个完整环节，构建了覆盖语言生成全流程的解码框架。系统依托SEEG技术，在额叶与颞叶两大关键语言脑区覆盖电极：额叶关键区域包括左侧额下回（眶部、三角部、盖部）、运动前皮层及初级运动皮层下部；颞叶关键区域则分为前颞叶、背外侧颞叶（颞上回前后部、颞中回）以及基底颞语言区（颞下回前后部、枕颞回及海马旁回前部）。

通过对上述关键区域电极通道的高γ波段特征进行提取，系统构建了三个功能明确的解码器：

发声启动解码器在实际发音输出产生前的极短时间内，即可提前捕捉大脑意欲发音的神经信号，解决了语言交互中的时序同步问题；

语音解码器从构音运动编码区解码汉语语音信息，提取大脑对不同构音运动结构具有差异响应的SEEG通道特征；

语义解码器则从语义概念组织编码区解码语义信息，提取大脑对口语表达中不同语义类别的差异响应。

三者并行工作，实现了对语言生成全过程的完整神经捕捉。

基于卷积神经网络及双向长短期记忆网络的发声启动解码器

基于卷积神经网络及Transformer编码器的语音解码器

基于层叠式Transformer及多模态注意力网络的语义解码器

解码得到的语音与语义特征，最终输入汉语字词语音-语义融合合成器进行整合，这是解决同音字歧义的核心环节。合成器在统一表示空间中对齐来自语音解码器的发音特征与来自语义解码器的概念特征，通过两者的交叉验证生成更稳定的多层次解码结果，最终输出准确的汉语字词，可选择语音形式或文字形式呈现。这一设计的工程智慧在于：当语音解码器输出“/ting2/”这一含混信号时，语义解码器已从颞叶语义编码区捕捉到“停止”或“庭院”的概念激活，两者融合后即可精准锁定正确词义，彻底绕开了单纯语音解码无法解决的同音歧义问题。这种“音-义整合”的双模型架构，使得系统无需实时调用外部大语言模型进行后处理推理，仅靠神经信号本身即可实现高准确度的意图识别。

基于跨模态特征融合网络的汉语字词语音-语义融合合成器

为提升系统的个性化适配效率，专利还配套了一套完整的视听诱导训练范式，支持受试者自主生成词汇。训练分为三项任务：听音组词（听觉线索引导词汇搜索）、看字组词（视觉文字线索引导词汇生成）、词汇联想（特定语义类别下的自由词汇联想）。实验流程设置精准：屏幕显示十字作为视觉焦点引导→红灯亮2秒给予思考时间→绿灯亮起持续3.5秒供受试者完成表达→休息1.5秒进入下一循环。其中，听音组词与看字组词主要用于训练语音解码器，词汇联想侧重于训练语义解码器，三项任务共同产生的神经信号则用于训练发声启动解码器与音义融合合成器，实现整个系统的端到端个性化校准。

训练范式流程图

综上，这套基于音-义整合双模型的脑机接口系统，首次针对汉语的语言学特性设计了专门的神经解码架构，从信号采集维度就将语音与语义信息分路捕捉，解决了传统单维度语音解码在汉语场景下的先天局限。对于我国约20万ALS患者及其他原因导致的闭锁综合征患者而言，该系统不仅提供了更高准确度的口语交互工具，更重要的是建立了一套针对汉语语言特性设计的BCI技术范式。与现有“声调+音节”方案相比，该系统在处理同音词、近音词时具有本质优势；而“发声启动”机制的引入，更让解码时序与自然语言生成过程实现了精准同步。随着临床转化的推进，该技术有望成为汉语语言BCI领域的基础性方案，为众多言语障碍患者重建与世界对话的桥梁。