01
为什么这是一篇Nature文章？
文字输出的速度决定了人们信息交流的效率，尤其是在文字媒体盛行的今天。
健康成年人每分钟可以打字约115个英文字符。而对于瘫痪（如霍金教授）或肢体残疾而无法用手打字的人来说，这个速度为0！于是，如何帮助这些人士输出文字信息并不断提高其输出速度，成了突破他们与外界信息交流瓶颈的重要指标。
现有商用辅助打字系统多采用非侵入方式，可分为眼动键盘控制和语音指令两大类。目前的眼动键盘控制系统仅能做到每分钟47.5个字符[1]，远远低于正常人的打字速度。且这两类系统无法适用于眼动和语言功能有障碍的瘫痪人士。
近年来备受瞩目的脑机接口技术通过解码患者脑部活动信号来重建部分身体功能，该项技术已成功帮助瘫痪人士实现抓取、操纵物体[2-6]。但在文字输出这一应用领域，脑机接口技术的性能还落后于诸如眼动控制这类简单辅助技术。例如目前最成功的非侵入式脑机接口只能达到每分钟40个英文字符的输出速度。究其原因，是因为相对于其他应用场景，文字输出是一项相对复杂的任务。以英文举例，26个字母意味着要把神经信号准确、快速的归类为26类，相对于抓取物体等简单任务，难度极大。
Willett等人发表在《Nature》的这项工作，极大地提升了脑机接口在文字输出应用上的性能，取得了每分钟90个字符的输出速度，并实现了94.1%的在线准确率以及99%的离线准确率，使得基于脑机接口的文字输出系统具有现实可用性。
一句话总结这项工作之所以能发表在《Nature》杂志上：该工作实现了瘫痪患者大脑手写神经信号直接解码输出文字，并且其文字输出速度超过其他技术。
02
算法的三个关键步骤
如图1所示，文章中的神经解码过程是典型的多元非线性回归分析（multiple nonlinear regression analysis），其因变量是连续记录的脑神经信号，自变量是31个字符（26个英文字母以及其5个标点符号），其中回归分析是通过RNN（recurrent neural network）方式实现的。整体算法框架属于中规中矩的数据处理流程。笔者想在这里着重分享的是其最终取得优异性能的三个关键步骤：
图1. 算法框图
1）“动笔”一刹那神经信号的一致性。笔者拿到文章后的第一个疑问就是，在时间连续的多维神经信号中，如何确定当前测试对象书写字符这一动作的起始和终结的时间点？文章作者在这里使用了第一个关键步骤。他们借用语音识别研究中的一套机器学习算法，来搜索神经活动中书写字符的起始时间点。幸运的是，被测对象在每一次假想书写字符时存在非常稳定的神经信号特征，见图2。利用这一个特性，作者得以将连续神经信号切分成对应于每个字符的神经信号片段，进而输入RNN进行分类。
图2. 解码书写新字符的概率（取自原文图2a）
2）时间对齐技术（time-alignment technique）。得到分割好的神经信号片段后，如何处理这些片段在时间长度上的变化性，是作者要解决的第二个问题。人在书写文字时，书写速度存在一定的变化性，即使同一个字符，每次书写的用时都会有一些微小的变化，这就要求对这些神经信号片段进行预处理。在这里作者使用了第二个关键步骤，即时间对齐技术[7]，见图3。该技术对神经信号片段进行拉伸或缩减，以消除书写速度带来的变化性，得到每个字符独有的一致活动模式。
图3. 时间对齐技术（取自原文图1b-c）
3）数据增强（data augmentation）。为了对高维神经信号实现准确分类，作者使用了擅长预测序列数据的循环神经网络（RNN）。使用 RNN 的强大功能需要充足的训练数据，但此类数据在神经接口中受到限制，因为很少有被测对象愿意连续想象写作数小时。因此，第三个关键步骤就是使用数据增强（data augmentation）。被测对象神经活动被用来人工合成新的句子，用于RNN的训练。另外，作者还通过在神经活动中人工引入一些变化来扩展训练数据，以模拟人脑中自然发生的变化。这种可变性可以使 RNN BCI 更加稳健[8]。
03
结语
该文章使用侵入式脑机接口技术帮助高位截瘫病人实现文字输出，速度和准确率均达到同年龄健康人的水平，是近年来脑机接口领域的一项重大突破。然而，我们思考的速度远远快于我们沟通的速度，特别是当我们在智能手机的小键盘上码字的时候。作者使用大脑控制手部动作区域的神经信号来控制文字输出，这种方式在一定程度上限制了信息输出的效率。如何通过直接解码大脑中的思维，将思维直接生成文字显示出来，将是未来脑机接口研究的一个重要方向。
参考文献
[1] Mott, M.E., Williams, S., Wobbrock, J.O. and Morris, M.R., 2017, May. Improving dwell-based gaze typing with dynamic, cascading dwell times. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems (pp. 2558-2570).
[2] Hochberg, L.R., Serruya, M.D., Friehs, G.M., Mukand, J.A., Saleh, M., Caplan, A.H., Branner, A., Chen, D., Penn, R.D. and Donoghue, J.P., 2006. Neuronal ensemble control of prosthetic devices by a human with tetraplegia. Nature, 442(7099), pp.164-171.
[3] Hochberg, L.R., Bacher, D., Jarosiewicz, B., Masse, N.Y., Simeral, J.D., Vogel, J., Haddadin, S., Liu, J., Cash, S.S., Van Der Smagt, P. and Donoghue, J.P., 2012. Reach and grasp by people with tetraplegia using a neurally controlled robotic arm. Nature, 485(7398), pp.372-375.
[4] Collinger, J.L., Wodlinger, B., Downey, J.E., Wang, W., Tyler-Kabara, E.C., Weber, D.J., McMorland, A.J., Velliste, M., Boninger, M.L. and Schwartz, A.B., 2013. High-performance neuroprosthetic control by an individual with tetraplegia. The Lancet, 381(9866), pp.557-564.
[5] Pandarinath, C., Nuyujukian, P., Blabe, C.H., Sorice, B.L., Saab, J., Willett, F.R., Hochberg, L.R., Shenoy, K.V. and Henderson, J.M., 2017. High performance communication by people with paralysis using an intracortical brain-computer interface. Elife, 6, p.e18554.
[6] Ajiboye, A.B., Willett, F.R., Young, D.R., Memberg, W.D., Murphy, B.A., Miller, J.P., Walter, B.L., Sweet, J.A., Hoyen, H.A., Keith, M.W. and Peckham, P.H., 2017. Restoration of reaching and grasping movements through brain-controlled muscle stimulation in a person with tetraplegia: a proof-of-concept demonstration. The Lancet, 389(10081), pp.1821-1830.
[7] Williams, A.H., Poole, B., Maheswaranathan, N., Dhawale, A.K., Fisher, T., Wilson, C.D., Brann, D.H., Trautmann, E.M., Ryu, S., Shusterman, R. and Rinberg, D., 2020. Discovering precise temporal patterns in large-scale neural recordings through robust and interpretable time warping. Neuron, 105(2), pp.246-259.
[8] Sussillo, D., Stavisky, S.D., Kao, J.C.
作者简介
李 孟
中国科学院上海微系统与信息技术研究所研究员，博士生导师。在哈尔滨工业大学取得博士学位。毕业后先后在美国佐治亚医学院、美国哈佛大学从事博士后研究。2019年9月开始任德国马克斯-普朗克学会生物控制论研究所研究科学家。于2021年6月加入中国科学院上海微系统与信息技术研究所开展独立研究工作。
长期从事大尺度群体神经信号处理与编解码的研究工作，在脑科学、人工智能、深度学习等研究领域取得了多项创新性成果。在Nature、 Advanced Science、Cerebral Cortex、Neuroimage等发表论文21篇。
课题组诚聘副研究员、助理研究员、博士后、科研助理，长期招收博士、硕士研究生。有意应聘者请将个人简历包括学习工作经历、主要研究内容、代表论文/论著、获奖情况等）发至li.meng@mail.sim.ac.cn。
1
声明：脑医汇旗下神外资讯、神介资讯、脑医咨询、AiBrain所发表内容之知识产权为脑医汇及主办方、原作者等相关权利人所有。未经许可，禁止进行转载、摘编、复制、裁切、录制等。经许可授权使用，亦须注明来源。欢迎转发、分享。
