视觉运动整合（Visuomotor integration）是人类执行各类认知和运动任务的重要能力，涉及视觉信息的获取、注意力的分配、决策制定以及运动控制等多个环节。在日常生活中，这一能力广泛应用于驾驶、体育运动、人机交互等多种场景。例如，在驾驶过程中，驾驶员需要快速识别交通信号、行人及其他车辆的位置，并结合当前的驾驶速度和方向，调整方向盘和刹车系统，以确保行车安全。同样，在体育运动中，运动员依赖视觉输入对对手的动作做出判断，并迅速调整自身动作，以达到更好的竞技表现。因此，深入理解视觉运动整合的神经机制，对于提高人类运动技能、优化人机交互设计以及改善神经疾病患者的运动控制能力具有重要的科学价值。
本研究提出了一种多模态同步数据采集方法，结合EEG（脑电）、fNIRS（功能近红外光谱）、Eye-tracking（眼动追踪）、EKG（心电）和Joystick（手部运动），并设计了一项飞机目标识别任务，以探讨不同认知负荷条件下个体的视觉运动整合模式。通过这一研究，研究者不仅能够深入分析大脑如何协调不同感知通道的信息处理，还可以探索视觉注意、运动控制和自主神经系统之间的相互作用。此外，该研究数据集的公开也填补了现有视觉运动研究在多模态同步记录方面的空白，为神经科学、人工智能、人机交互及临床神经病学等领域提供高质量的数据支持。
研究方法
本研究的核心目的是探索视觉-运动任务中的神经生理机制，实验通过多模态数据收集与分析，涵盖了脑电图（EEG）、功能性近红外光谱（fNIRS）、心电图（EKG）、眼动追踪以及操纵杆反应等多个维度的数据。研究共招募了50名健康成人（32名男性，18名女性），年龄范围为18至27岁，所有受试者都没有神经、精神或脑部疾病。为了确保实验数据的可靠性和广泛的适用性，研究尽可能减少了样本偏倚，确保了性别和惯用手性等因素的平衡，虽然男性参与者的比例相对较高，但这并不影响实验的总体结论。
在实验设计上，为了研究视觉输入和运动输出之间的动态交互，研究团队设计了简单和困难两种任务。每个任务都包括视觉搜索、运动反应和注意力监测三个核心阶段。在视觉搜索阶段，参与者被要求将目光固定在中央十字上，随后目标图像在屏幕上出现，参与者需要迅速识别目标并做出反应。在运动反应阶段，参与者使用操纵杆将其从中央位置移动到目标位置，并在目标确定后按下触发器。这些反应通过记录操纵杆的反应时间、移动时间、准确性和偏差角度等行为指标来评估任务执行情况。通过这种设计，研究团队旨在评估不同难度条件下，参与者的视觉-运动协调能力以及任务执行过程中大脑和生理反应的变化。
图 2 实验流程。（a）视觉运动范式中的简单任务（左侧）和搜索任务（右侧）。（b）目标可能出现的六个位置。（c）对操纵杆的运动反应。（d）注意力运动持续时间在 2.2 - 5.2 秒间受到干扰的行为采样，采样频率为 10 赫兹。
为了全面捕捉视觉-运动任务的神经生理反应，研究同步记录了多模态数据。脑电图（EEG）以500赫兹的采样率捕捉参与者的脑电活动，功能性近红外光谱（fNIRS）以10赫兹的频率测量氧合血红蛋白（HbO）和脱氧血红蛋白（HbR）的浓度变化，从而揭示大脑的血流动力学活动。眼动追踪则记录了参与者在任务中的眼球运动轨迹，帮助研究者分析视觉搜索阶段的注意力分配情况。同时，心电图（EKG）记录了参与者的心脏电活动，用于评估自主神经系统在任务过程中如何响应认知负荷的变化。
图 3 脑电图 - 功能性近红外光谱（EEG-fNIRS）测量的空间布局。（a）电极（粉色圆圈）、光源（粉色圆圈）、探测器（蓝色圆圈）以及通道（红色线条）的二维分布。（b）基于大脑蒙特利尔神经研究所（MNI）空间，将通道映射到三维模型上。
在数据采集过程中，为了克服由于不同设备使用独立时钟可能带来的同步误差，研究者采用了基于脑电图事件标记的时间同步方法。所有设备在采集数据时都通过同步触发信号来确保时间对齐，通过线性校正方法校正了不同模态数据的时间偏移。此外，所有采集到的数据都经过了严格的预处理，包括去伪迹、带通滤波和光信号转换等步骤，确保了数据质量和实验结果的可靠性。
图 4 基于相同事件标记的同步前后时间对齐情况对比。（a）校准前。（b）校准后。
研究结果分析
研究结果显示，任务难度对参与者的视觉-运动协调、注意力分配和生理反应都有显著影响。首先，行为数据的分析揭示了随着任务难度的增加，反应时间、响应时间、偏差角度和反应变异性等行为指标出现了显著变化。困难任务中的反应时间显著长于简单任务，表明任务难度增加了参与者的认知负荷。移动时间在两种任务之间没有显著差异，这可能表明任务的难度主要体现在认知处理上，而运动反应本身并未受到显著影响。响应时间（反应时间与移动时间之和）在困难任务中显著长于简单任务，进一步验证了任务难度对反应速度的影响。
此外，偏差角度的分析表明，困难任务中的偏差角度显著大于简单任务，这反映了随着任务难度的增加，参与者的运动控制精度有所下降。响应变异性方面，困难任务表现出了显著更高的变异性，表明参与者在复杂任务下的表现更不稳定。对比分析也表明，参与者在困难任务中展现出更高的反应时间变异性，这意味着任务难度增加了参与者在任务执行过程中面临的认知挑战。
图 5 行为数据的统计情况。（a）受试者在简单和困难任务中的平均反应时间。（b）受试者在简单和困难任务中的平均运动时间。（c）受试者在简单和困难任务中的平均响应时间。（d）每个受试者在简单和困难任务中的平均偏差角度。（e）简单和困难任务中响应偏差的概率。（f）受试者在简单和困难任务中的响应变异性 K。
图 6 注意力监测的时间结构。（a）简单任务的反应时间，（b）困难任务的反应时间，（c）简单任务的运动时间，以及（d）困难任务的运动时间。
眼动数据的分析同样显示了任务难度对视觉-运动过程的影响。在困难任务中，眼跳的发生概率和持续时间均显著高于简单任务，这表明参与者在处理复杂任务时需要更多的眼动调整，以适应不断变化的视觉输入。注视点分布的差异也进一步证实了这一点。在简单任务中，参与者的注视点主要集中在目标区域，而在困难任务中，目光则相对分散，参与者需要调整视线来优化视觉搜索策略。
图 7 眼动的对比。（a）从刺激呈现开始，扫视发生的概率随时间变化的情况（灰色条表示刺激呈现）。（b）200 - 300 毫秒内扫视持续时间的统计情况。（c）0 - 200 毫秒时间段内，简单和困难任务之间注视概率差异的热图。（d）200 - 300 毫秒时间段内，简单和困难任务之间注视概率差异的热图。
在脑电图（EEG）数据的分析中，N2pc成分成为评估注意力分配的关键指标。N2pc是一个通常在视觉刺激后200-300毫秒内出现的负向电位，反映了参与者在视觉搜索中的注意力选择过程。研究结果表明，在困难任务中，N2pc波幅显著大于简单任务，这表明随着任务难度的增加，参与者在注意力选择和视觉处理上投入了更多的认知资源。这一结果与任务难度对行为反应时间的影响是一致的，进一步说明了注意力选择的效率与任务复杂度之间的关系。
综上所述，研究结果表明，任务的难度对参与者的行为表现、视觉-运动协调、注意力分配、眼动模式、脑电图活动以及生理反应均产生了显著影响。尤其是在困难任务中，参与者表现出较长的反应时间、更高的运动偏差、更多的眼动调整、更强的脑部激活和更高的心率变异性。这些结果不仅揭示了任务难度如何影响大脑的各个区域，还进一步表明，视觉输入和运动输出之间的神经生理机制是复杂且动态的，涉及多个大脑区域和生理系统的协调工作。
结论展望
本研究构建的多模态同步数据集，为视觉运动整合的神经机制提供了高时间分辨率的生理和行为数据支持。未来，该数据集可广泛应用于脑机接口（BCI）、神经疾病诊断、增强现实（AR）和虚拟现实（VR）等领域，并可结合机器学习方法开发更精确的个体认知状态预测模型。随着多模态数据融合和人工智能技术的不断发展，该数据集将在更广泛的研究领域中发挥重要作用，为人类认知科学、智能交互和临床康复提供关键支持（转自：脑机接口社区）
专栏作者
杨艺 主任医师
首都医科大学附属北京天坛医院
主任医师，国家神经疾病医学中心脑机接口转化研究中心执行副主任。北京大学八年制医学博士，英国牛津大学Nuffield临床神经科学中心访问学者。北京脑科学与类脑研究中心青年学者，北京市科技新星。
聚焦于意识障碍疾病的系统诊断、预后预测和神经调控治疗，以及脑机接口新型技术的临床应用研究。2022年作为项目负责人获批“科技创新2030脑科学与类脑研究”青年项目“意识障碍的闭环神经调控治疗”。
更多精彩内容 请关注作者
点击或扫描上方二维码，查看更多“功能”内容
声明：脑医汇旗下神外资讯、神介资讯、神内资讯、脑医咨询、Ai Brain 所发表内容之知识产权为脑医汇及主办方、原作者等相关权利人所有。
