摘要:游戏里所采用的头盔,其对应的是非侵入式脑机接口,在目前大众视野中了解更多,常以某些游戏主播头戴的贴片式呈现出来。这种脑机接口的延迟较大,但好在不需要用户对此产生依赖(也就是非绑定的)。
编辑丨%
在世纪之初,一款名为《刀剑神域》的动漫横空出世,其中所描述的可以完全沉浸的精神游戏世界吸引了无数玩家的兴趣。
直至今日,虽然脑机接口的研发不单纯为满足对未来的幻想,也仍有为其能投入生活应用的研发者在努力。
游戏里所采用的头盔,其对应的是非侵入式脑机接口,在目前大众视野中了解更多,常以某些游戏主播头戴的贴片式呈现出来。这种脑机接口的延迟较大,但好在不需要用户对此产生依赖(也就是非绑定的)。
侵入式脑机接口,需要手术,以植入脑信号捕捉设备。现有的侵入式脑机大都与用户本身强绑定,通常以辅助用户进行某些生理性的任务,比如表达或者行动。
图 1:脑机接口示意图。(图源:网络)
在这类需要设备协助的特殊人群中,通常采用皮层内脑机接口(iBCI)与大脑直接连接以将运动意图转化为行动,从而提供恢复自主运动的途径。
iBCI 使用植入的电极来记录神经元群的活动,并使用解码算法将记录的活动转换为外部设备的控制信号。近年来,iBCI 在一系列应用中取得了令人印象深刻的性能,包括控制拟人化的机械臂、刺激瘫痪的肌肉实现伸手和抓握,甚至快速解码笔迹。
但 iBCI 仍有一个明显的缺陷:它们对神经记录不稳定性(这些不稳定性会导致随时间变化的特定神经元监测发生变化)的正确率不足。这种缺陷归因于多种现象,包括电极位置相对于周围组织的移动、电极故障、细胞死亡以及对外来材料的生理反应。
如果没有适当的补偿,在生理反应中会产生非平稳输入,这就意味着 iBCI 的使用必须定期中断并重新校准,日常活动里会为使用者带来额外的负担。
为了解决这个问题,美国埃默里大学(Emory University)、乔治亚理工学院(Georgia Institute of Technology)等合作进行了一项研究,使用自动、无监督解码器在不中断 iBCI 设备的情况下保持性能。该研究以「Stabilizing brain-computer interfaces through alignment of latent dynamics」为题,于 2025 年 5 月 19 日刊登于《Nature Communications》。
稳定 iBCI 解码
通过适当重新校准神经元到流形的映射,而不改变流形到行为的映射,可以实现稳定的解码。在这个想法的引导下,团队设计了概念图。
方法从一个监督训练数据集开始,该数据集包含初始记录会话中的神经活动和运动信息,称之为 Day 0,可以用来表征流形和动力学,同时训练一个解码器将流形活动映射到行为,在后续的记录时期,称其为 Day K。
这里他们介绍了 Nonlinear Manifold Alignment with Dynamics (NoMAD),一个无监督 iBCI 解码的平台,它使用基于流形的 iBCI 解码器,所学的动态模型可以用于帮助更新神经元到流形的映射,而无需了解受试者的行为。
NoMAD 的高层次目标是通过学习 Day K 数据到原始流形的映射来补偿不稳定的记录,从而令原始 Day 0 解码器可用。与之前的方法不同,NoMAD 利用了神经活动的时间演变信息来帮助学习这种映射。
图 2:多变量对齐与动态调整可以稳定神经活动的表示。(图源:论文)
NoMAD 使用潜因子分析通过动力系统(LFADS)来模拟动力学,使用循环神经网络(RNN “生成器”)接收推断出的输入序列来近似观察到的神经群体下的动力学系统。
为了模拟 Day 0 监督训练数据集,LFADS 架构中添加了两项主要修改:输入端添加了一个低维度读入矩阵,旨在标准输入到 RNNs 的维度;另新增一个读出矩阵,从生成器的活动预测行为数据。
LFADS 架构经过训练,再将其与 Day 0 解码器的训练分离,倘若再使用更简单的一步线性解码器与更复杂和容量更大的解码架构,就能做到不影响学习到的流形或动力学。
图 3: NoMAD 在等距任务中实现数月稳定的离线解码。(图源:论文)
为了在各种记录条件下测量解码稳定性,团队在所有任务上测试了每种方法。这些解码器在 Day 0 LFADS 生成器状态上进行训练,并获得最高的中位数数据,于二十个任务中变异占比最少。
与这些先前的方法相比,NoMAD 在性能上取得了显著提高,且几乎没有变异与失败,并且在整整 3 个月窗口内几乎没有性能下降,这些现象均显示:NoMAD 解码的单次试验力与测量力更为一致。
再接下来,团队想确定是否可以将流形对齐方法(NoMAD)与回顾性解码器重新校准方法(RTI)结合起来,并研究此种方式的稳定性。
图 4:NoMAD 和 RTI 在闭环 iBCI 数据中的示例。(图源:论文)
应用 NoMAD 与 RTI 结合,在所有测试方法中显示出最高的解码性能,这种组合也达成了更持久的稳定发挥。这些结果表明,可以在不影响性能和稳定性的前提下,将流形对齐和回顾性校准结合起来。这种组合的效果在测试会话中有所不同,需要进一步确定什么条件下效果达到最佳。
简单的汇总
NoMAD,这是一种无监督流形对齐技术,它利用流形及其动态特性,在长时间跨度内实现稳定的解码。在测试中,NoMAD 在等距任务中提高了 95 天内的解码准确性和稳定性,在抓取任务中则在 38 天内实现了这一目标。
通过将神经活动的时间结构纳入流形对齐过程,NoMAD 能够实现更稳定的神经解码,只需要更少的 iBCI 重新校准程序。若将 NoMAD 与回顾性解码重新校准方法结合,短时间尺度的稳定性也可能得到改善。
来源:我最亮