人机交互是一个快速发展的领域,机器人在我们的日常生活中发挥着越来越积极的作用。病人护理是机器人越来越多出现的领域之一,尤其是对残疾人来说。患有神经退行性疾病的人可能不会有意识或自愿地进行除眼睛或眼睑以外的运动。在这种情况下,脑机接口(BCI)系统提供了与外部世界通信或交互的另一种方式。为了改善残障人士的生活,本文提出了一种新的脑机接口,用于控制辅助机器人。在本研究中,脑电图(EEG)信号的眼睛伪影被认为是有价值的信息来源,通过检测脑电图信号中的眼睑伪影,以及眨眼的双阈值方法,成功实现了通过脑机接口控制机器人的目标。该技术的应用对改善残障人士的生活具有重要意义。
在前人的文献中,眼睛伪影相关的论文一般都集中在眨眼检测上,使用脑电图信号的工作是强迫受试者不移动他们的眼睛。针对眼动检测的研究很少,大多是利用眼动传感器而不是脑电图。此外,与大多数有用的脑电信号相比,眼动伪影具有更高的信噪比(SNR),并且在时域上可以被观察到,因此可以被认为是有价值的信息来源。
信号处理
人眼伪影会在特定频段引起功率增加。短时傅里叶变换(STFT)用于确定信号局部部分随时间变化的正弦相位和频率内容。信号在100个数据点的窗口中分割,重叠50个数据点。在计算STFT之前,对信号进行滤波,去除与上述EEG信号频段一致的高于100hz的高频分量和低于0.5 Hz的低频分量。额叶通道比其他通道显示出更清晰的结果。振幅的上升与事件完全一致,如图1所示。通过观察颞叶皮层的电极,可以观察到0.5 - 15赫兹之间的功率上升,而在额叶皮层,它的频率范围高达30赫兹。

图1. 当眨眼并向右看时F1, FT7, FT8, Fp1, F7, F8通道的STFT。
计算空闲、眨眼、向左看和向右看的事件傅里叶变换(FT),以进一步检查0.5 - 30 Hz之间的信号分量。在FT图(如图2所示)的可视化之后,很明显,主导频段确实在0.5和15hz之间。由于主频段在15hz之前,因此选择1 - 13hz之间的二阶巴特沃斯滤波器来滤波信号。

阈值确定
在实验中,研究人员为Fp1通道选择了两个值,为F7和F8通道选择了4个值,为F7和F8通道选择了4个值。信号对事件的一般行为如图3所示。
遵循类似的过程来查找F7和F8的阈值,如图3所示,左和右看起来具有相反的行为,由多个波峰和波谷组成。一条通道的峰和另一条通道的谷几乎同时被观测到。每个试验的每个通道的均值和标准差分别计算。然后检查波峰和波谷的分布以确定阈值,结果如表1所示。


数据流和处理模式
图4显示了数据流和处理模式,以及提出的眼动分类算法。该算法通过检测信号中的眨眼和眼动特征来识别眨眼和眼动事件。算法首先检查Fp1通道是否有高于阈值的值,如果是,则触发眨眼标志。接下来,新批次的数据将进入眨眼状态,以捕获信号峰值之后的剩余信号。另外,算法还检查F7和F8通道的峰谷形状来触发眼动事件的标志。如果没有眨眼事件发生,所有新批次将进入眼动事件的状态。算法的思想是根据窗口的大小和通道值的峰谷形状来识别眼动事件。最后,如果没有眨眼或眼动事件发生,当前批次将作为下一批次的前一个窗口。这种算法的设计使其能够有效地捕获眨眼和眼动事件,从而实现对辅助机器人的控制。

BCI实验验证
受试者能够控制基本运动,并通过使用他们的眼睛伪影为机器人选择一个预定义的任务来执行。受试者对机器人的所有功能进行了测试,以验证整个系统的可用性。图7展示了BCI系统验证实验视频中的部分画面。图8显示了为BCI实现的GUI。实验结果表明,本文提出的基于阈值的眼伪影识别算法能够通过眼伪影对机器人进行控制。虽然人眼伪影检测算法在检测左侧表情方面效果不佳,存在大量将左侧表情误分类为右侧表情的现象。但受试者依然能够完成所有的任务。


结论和未来发展
本研究提出了一种带眼伪影的BCI机器人控制算法,为残疾人提供了改善生活质量的方法。该算法通过特征形状检测脑电图信号中的眼伪影,并使用阈值检测眨眼。实时检测到的事件被送到第二个算法分发器中,以进一步区分连续眨眼,并确定用户执行的是单次、两次还是四次眨眼。该算法在离线测试中表现良好,但在在线过程中的性能下降。未来的研究可以考虑迁移学习和深度学习技术以提高在线性能,并研究全身运动的控制以提高人机交互性能。优化软件以减少在线计算时间也是一个重要的方向。
来源:脑机接口社区
专栏作者
杨艺 主任医师
首都医科大学附属北京天坛医院
主任医师,国家神经疾病医学中心脑机接口转化研究中心执行副主任。北京大学八年制医学博士,英国牛津大学Nuffield临床神经科学中心访问学者。北京脑科学与类脑研究中心青年学者,北京市科技新星。
聚焦于意识障碍疾病的系统诊断、预后预测和神经调控治疗,以及脑机接口新型技术的临床应用研究。2022年作为项目负责人获批“科技创新2030脑科学与类脑研究”青年项目“意识障碍的闭环神经调控治疗”。
更多精彩内容 请关注作者
点击或扫描上方二维码,查看更多“功能”内容