深圳大学附属华南医院神经外科杜世伟、陶蔚团队联合香港中文大学（深圳）数据科学学院李海州团队，在国际权威期刊Nature旗下《Scientific Data》（JCR Q1区）发表题为“VocalMind: A Stereotactic EEG Dataset for Vocalized, Mimed, and Imagined Speech in Tonal Language”的研究成果。该研究首次建立了面向声调语言（普通话）的立体定向脑电图（sEEG）多模态语音数据集，涵盖发声语音（Vocalized）、默读语音（Mimed）和想象语音（Imagined）三种模式，包含单词和句子两个层级，总时长67.85分钟的高精度神经信号记录。研究团队创新性地提出融合CNN与RNN的基线解码模型，成功实现从sEEG信号到语音波形的端到端重建，为声调语言脑机接口（BCI）的临床转化提供了重要基础资源。魏明怡（深圳大学附属华南医院）、何天与（香港中文大学[深圳]）为共同第一作者。
研究背景与科学问题
全球约60%-70%人口使用声调语言（如汉语、泰语），但现有语音BCI研究集中于非声调语言（如英语），缺乏针对声调变化语义功能的解码方案。癫痫患者术中植入sEEG电极的独特优势：无需开颅，可同步获取语言相关脑区（如Broca区、颞叶）的高时空分辨率信号。现有公开sEEG语音数据集时长不足（5-10分钟/受试者），且仅关注孤立单词，缺乏句子级语义信息。默读/想象语音的神经机制不明确，亟需多模态数据支持跨任务迁移学习。
研究方法与技术创新
研究受试者植入9根电极（140触点），覆盖额叶、颞叶及顶叶语言网络，采用以下三种任务：
● 发声语音：“请清晰朗读屏幕文字”（音频同步录制）。
● 默读语音：“无声模仿发音，保持口型但不出声”。
● 想象语音：“在脑海中默念文字，不移动嘴唇”。
任务设计包含：
● 20个单词：覆盖普通话四声及不同发音部位，如“牛奶níu nǎi”、“青菜 qīng cài”。
● 100个句子：选自WenetSpeech语料库，长度5-8字，如“我现在过去了”。
数据处理
sEEG信号：剔除30个异常电极后，提取高频伽马（70-150 Hz）和低频信号，降采样至200 Hz。创新性采用动态时间规整（DTW）对齐默读/想象语音与发声语音的神经响应。
音频信号：通过LibROSA生成80维梅尔频谱图（窗口64ms，步长20ms）。
解码模型：1D-CNN（64通道）→Dropout（0.7）→双向GRU（3层，256单元）→线性层（输出80维梅尔频谱）。六折交叉验证，以发声语音为监督信号迁移至默读或想象语音解码。
核心成果与临床价值
数据集特性：
● 多模态：包含原始/预处理sEEG、音频及梅尔频谱，文件命名规范（“Vocalized_DaNao_1.csv”）。
● 高精度标注：电极坐标公开（GitHub），支持跨研究数据整合。
解码性能：
● 发声语音：频谱相关性（PCC=0.82±0.03）、基频误差（RMSE=12.1Hz），显著优于默读（PCC=0.71±0.05）和想象语音（PCC=0.68±0.06）。
● 声调保留：解码的普通话四声轮廓与原始语音高度一致（Pitch Correlation >0.75）。
● 可懂度验证：通过HiFi-GAN合成的例句（如“我们又见面了”）获临床医生认可。
应用场景：
社会影响与学术评价
资源开放
● 数据集：Zenodo (DOI:10.5281/zenodo.14696348)
● 代码：GitHub (sEEG-Processing-SpeechDecoding)
● 演示音频：https://tianyu-h42.github.io/sEEG_speechDecoding
研究团队介绍
杜世伟 主任医师
深圳大学附属华南医院
● 主任医师、医学博士、博士后、硕士研究生导师
● 现任深圳大学附属华南医院神经外科主任、卒中中心主任、创伤中心副主任
● 2011年毕业于北京协和医学院，获外科学（神经外科）博士学位；长期从事神经外科临床、科研与教学工作；曾任职于解放军总医院第三医学中心神经血管外科、首都医科大学宣武医院神经外科，2022年组建深圳大学附属华南医院神经外科
● 目前担任国家脑损伤评价医疗质量控制中心颅脑损伤评价质控工作组委员、中国医师协会神经介入专业委员会委员、中国研究型医院学会脑血管病学专业委员会常务委员中国卒中学会复合介入神经外科分会委员、广东省医学会神经介入分会委员广东省医师协会神经介入专业委员会委员、广东省卒中学会血管神经外科分会常务委员、深圳市医师协会神经外科医师分会副会长、深圳市医师协会神经外科医师分会神经血管学组组长等
● 临床方面，在神经血管、神经肿瘤及神经功能等疾病治疗领域具有丰富的经验，是少数同时熟练掌握手术显微技术和神经血管介入技术的中青年专家
● 科研方面，致力于磁控血管介入机器人、纳米机器人及新型生物栓塞材料等前沿方向研究，主持及参与国家自然科学基金专项、广东省联合基金、深圳市基础研究专项等多项课题
● 近五年，在《Science Advances》《Advanced Materials》《Advanced Intelligent Systems》《Research》等国际著名期刊发表SCI论文20余篇
陶蔚 主任医师
深圳大学附属华南医院
● 主任医师，博士，副教授，硕士生导师
● 深圳大学附属华南医院神经医学中心主任，深圳大学神经系统疾病临床医学研究中心常务副主任
● 国家食品药品监督管理总局医疗器械技术审评中心评审专家；深圳市卫健委医疗鉴定专家；中国医师协会疼痛科医师分会常委；中华医学会疼痛学分会全国委员；中华医学会疼痛学分会中枢痛学组副组长；中华医学会神经外科学分会电生理学组委员；广东省神经科学学会副理事长；深圳市医学会神经外科专业委员会副主任委员；深圳市医师协会神经外科医师分会副会长；深圳医学会疼痛学专业委员会常委；中国医师协会疼痛科医师分会女疼痛科医师协会常委；中国医师协会神经外科医师分会女神经外科医师协会常委
● 1997年毕业于中国协和医科大学八年制临床医学专业，获得医学博士学位；毕业后，在北京协和医院外科学系从事神经外科临床、科研和教学工作；2005年调入首都医科大学宣武医院功能神经外科，担任科室副主任，从事功能脑病的神经外科治疗；2017年任深圳大学总医院神经外科主任，组建神经外科，建成以功能神经外科和脑血管病为特色的综合神经外科诊疗中心，在华南地区享有较高声誉；2022年调入深圳大学附属华南医院任神经医学中心主任
● 从事神经外科临床工作20余年，在慢性疼痛、癫痫、帕金森病、脑瘫、面肌痉挛、昏迷促醒、神经系统肿瘤等疾病的诊断和综合治疗方面经验丰富
● 在国内率先开展引进多项新的治疗技术，包括2003年11月完成了国内第一例鞘内可程控输注系统植入术治疗慢性顽固性疼痛；率先开展脊髓电刺激术、脊髓背根入髓区毁损术治疗神经病理性疼痛、周围神经减压术治疗糖尿病足；率先开展经颅磁刺激治疗癫痫、慢性疼痛等；同时，在慢性疼痛微创介入治疗、难治性癫痫外科治疗、神经系统肿瘤术中神经功能保护方面具有丰富的经验
● 研究方向为功能性脑病的机制和神经调控治疗；曾主持参与国自然青年基金、北京市自然科学基金、深圳市科创委基金等课题，在国内外期刊发表论文40余篇
李海洲（Li Haizhou） 教授
香港中文大学（深圳）
● 香港中文大学（深圳）校长讲座教授、数据科学学院执行院长
● 新加坡工程院院士、IEEE Fellow
● IEEE信号处理学会副会长
● 研究方向：语音信息处理、自然语言处理、神经形态计算
● 个人网页：https://colips.org/~eleliha/
魏明怡 主诊医师
深圳大学附属华南医院
● 现任深圳大学附属华南医院功能神经科执行主任
● 2018年毕业于首都医科大学宣武医院功能神经外科
● 主要从事难治性癫痫、帕金森病、慢性意识障碍、脑瘫、肌张力障碍的手术评估及外科治疗；面肌痉挛等功能性疾病的外科治疗；慢性疼痛微创治疗、神经调控及手术治疗；主导难治性癫痫、帕金森病、肌张力障碍、慢性意识障碍、周围神经病的内-外科融合型诊疗平台的建设，形成了功能脑病一站式诊疗模式；组建电生理团队，为卒中中心、神经肿瘤、神经重症等专业组提供个体化功能评估及保护，为学科精准化、特色化发展提供保障。擅长神经心理及功能评估、周围神经、神经调控及立体定向（机器人）手术
● 参与在研课题2项，发表学术论文10余篇，编著1部，专利2项
● 目前以临床工作为出发点，主导设计关于难治性癫痫、周围神经病、慢性意识障碍、慢性疼痛、卒中后瘫痪等临床关键问题的脑机接口研究方案，并进行相关课题申报
声明：脑医汇旗下神外资讯、神介资讯、神内资讯、脑医咨询、Ai Brain 所发表内容之知识产权为脑医汇及主办方、原作者等相关权利人所有。
