北京时间2023年6月10日，研究成果以“Decoding and synthesizing tonal language speech from brain activity”《从大脑活动中解码及合成声调语言语音》为题发表于Science子刊Science Advances。

　　研究团队在定位和保护语言功能的同时通过高密度皮层脑电技术（时间分辨率为ms，空间分辨率为3-4mm）记录了受试者朗读“mā、má、mǎ、mà、mī、mí、mǐ、mì”时言语产生和构音相关脑区的神经活动，通过分析高频神经活动（70Hz-150Hz）的时空特征，发现大脑产生汉语声调的神经响应与其他构音的神经响应具有显著的时空差异。根据声调神经活动的独特时空特征，研究团队开发了适用于汉语的多流神经网络模型，对声调分离电极及音节分离电极分别进行并行解码（图1）。通过上述方式，研究团队实现单被试最高声调音节平均分类正确率达到76%，单字解码分类正确率达到91%（随机基线为12.5%）（图2）。

图1. 研究范式及深度学习框架

图2. 声调音节解码正确率

　　随后，研究团队利用汉语声调的五度标记法对分类的结果进行标记，并与其他构音特征信息流合并，最终实现端到端的带声调汉语语音合成。接下来，研究团队分别通过客观和主观两种方式对声音的合成质量进行了定量评价。在客观指标上引入梅尔频谱失真度（Mel cepstral distortion, MCD），发现所有被试的合成声音平均失真度（MCD）均在2.53dB至3.20dB之间（图3B），远低于机器语音识别系统公认的可识别上限8dB（超过8dB代表机器语音无法识别）。此外，研究团队还招募了31名志愿者对合成的声音进行主观听测，所有被试的声调听测准确率在81.7%至92.3%之间（图3C）。研究团队还进一步引入了国际电联提出的用于评估语音质量的“平均主观得分（Mean Opinion Scale, MOS）”，由独立招募的志愿者群体对语音质量进行主观评价打分，最终得到合成声调语音的MOS平均分为3.86分（图3E），这意味着合成的声调语音基本达到了“只需要一点注意力即可听清“的水平。

图3. 合成声音的客观及主观评价

　　本研究首次实现了基于颅内脑电的汉语声调语言端到端解码及语音合成，为未来“植入式汉语言脑机接口”提供了以神经解剖及电生理特性为基础和启发的特征工程分析处理方案，并提出了一种可被推广借鉴的深度学习框架，为最终实现汉语语言脑机接口奠定了理论和技术基础。

　　复旦大学附属华山医院吴劲松教授、路俊锋副主任医师、上海科技大学李远宁研究员为论文的通讯作者，复旦大学附属华山医院神经外科博士研究生刘衍、赵泽昊及天津大学许敏鹏教授为论文的共同第一作者。本研究得到了复旦大学附属华山医院神经外科周良辅院士、毛颖院长的直接领导和大力支持，同时也得到了麻醉科王英伟主任、车薛华教授、邓萌教授、彭悦蓉、平易、曹莉等、护理部赖兰护士长、吴秋月护士长、王烨、陈颖帅等、电生理团队马耐耐等、导航团队李振宇等的帮助和支持。本研究同时得到了国家科技创新2030-“脑科学与类脑研究”重大项目（青年）、上海市“脑与类脑智能基础转化应用研究”市级科技重大专项以及上海市教育委员会科研创新计划重大项目、上海市浦江人才计划等的支持。