长文干货！非侵入式脑机接口编解码技术研究进展

　　脑-机接口（Brain-computer interface，BCI）系统通过采集、分析大脑信号，将其转换为输出指令，从而跨越外周神经系统，实现由大脑信号对外部设备的直接控制，进而用于替代、修复、增强、补充或改善中枢神经系统的正常输出。非侵入式脑-机接口由于具有安全性以及便携性等优点，得到了广泛关注和持续不断地研究。近年来，研究人员对脑信号编码方法的不断探索扩展了BCI系统的应用场景和适用范围；同时，脑信号解码方法的不断研发，极大地克服了脑电信号信噪比低的缺点，提高了系统性能，这都为构建高性能脑-机接口系统奠定了基础。本文综述了非侵入式脑-机接口编解码技术以及系统应用的最新研究进展，展望其未来发展前景，以期促进BCI系统的深入研究与广泛应用。

　　脑-机接口（brain-computer interface，BCI）是脑科学与信息科学交叉产生的新兴学科领域，研究如何在大脑与外部设备之间建立直接的通讯和控制通道，实现脑与设备的信息交换（Volosyak等，2017）。20世纪70年代，Vidal（1973）首次提出了BCI的概念，并提出了基于视觉诱发电位（visual evoked potential，VEP）的BCI系统框架，自此开启了人类对BCI技术的研究。之后，随着BCI技术的不断发展，BCI技术在医疗、智能生活等领域的应用价值及其在神经科学和人脑机制研究等方面的科学价值逐渐凸显出来（Wolpaw等，2002；Bermudez等，2013；Meng等，2018；Shih等，2012）。近十年来，BCI逐步发展成一个研究热点，在医疗康复、养老助残和军事科学等领域具有良好的应用前景（张丹等，2017；曹洪涛等，2022）。自2013年起，世界上许多国家和地区都在战略层面对BCI技术进行了顶层设计。美国、欧盟、日本相继开启了各自的“脑计划”，我国也于2013-2014年开始酝酿“中国脑计划”。2021年，科技创新2030—“脑科学与类脑研究”重大项目的发布标志着酝酿多年的中国脑计划正式启动实施。中国脑计划围绕“一体两翼”，即以研究脑认知的神经原理为“主体”，研发脑重大疾病诊治新技术和类脑计算与脑机智能为“两翼”，以抢占全球脑科学前沿研究制高点。

　　图1为典型的BCI系统基本结构。BCI主要由三部分组成：1）信号采集，2）信号处理，3）设备控制（伏云发等，2017；Mcfarland和Wolpaw，2017；Allison等，2007）。在通过自发或诱发的方式对大脑信号编码后，首先是信号采集阶段，采集设备直接与大脑连接，以记录神经活动产生的生理信号，并将信号进行放大等处理，转化为数字信号。信号处理阶段包括特征提取和特征分类，特征提取是从脑信号中提取与任务相关且可辨识的特征，并构造特征向量，特征分类则利用特征向量对大脑信号进行区分，实现脑电信号解码，从而破译用户意图。设备控制阶段则将特征分类后的结果转换为对外部设备的输出指令（例如：文字处理程序，轮椅等辅助器具或神经假体等），以实现用户意愿（Ortner等，2011；Sellers等，2006）。

　　按照信号采集方式的不同，BCI可分为侵入式（invasive）和非侵入式（non-invasive）两大类。侵入式BCI是通过手术将电极阵列植入颅内，直接记录或刺激大脑神经元，以实现与外界的交流，由于侵入式BCI要做手术，因此目前仅应用在动物实验或者是严重瘫痪的病人上（Joseph，1985）。相较于侵入式BCI，非侵入式BCI的应用更加广泛，但是通过非侵入式采集设备记录到信号的信噪比较低，研究人员在编码实验范式以及解码方法上不断深入研究，以提高BCI的应用能力（Gao等，2021）。

　　目前，已经有多家跨国技术公司研发并推出了多款商用脑电采集设备，美国EGI公司、西班牙NE公司相继研发了脑电采集-电刺激调控一体机。美国杜克大学等高校与科研院所也相继研发了植入式电极（Yin等，2018；Dzirasa等，2011；Dzirasa等，2011；Pandarinath等，2017）。这些硬件设备的进步大大加速了BCI领域的发展。2015年，Chen等人（2015）提出了滤波器组典型相关分析方法解码稳态视觉诱发信号，构建的稳态视觉诱发电位（steady-state visual evoked potential，SSVEP）BCI系统突破性的实现了151.18±20.34bits/min的高信息传输速率，用户用该系统可以平均每分钟输出33个字符。2017年，Pandarinath等人（2017）报告了一种高性能的皮质内BCI系统，成功让三名瘫痪受试者通过简单的想象精准地控制电脑屏幕的光标，并在电脑屏幕上输入了他们想说的线个字母，这标志着侵入式BCI的一大进步。2019年，Anumanchipalli等人（2019）提出了一种新型BCI范式，当参与者无声地模仿句子发音时，该系统可以将人脑神经信号转化为语句并合成语音以实现发声交流。同年，Edelman等人（2019）利用脑电信号实现了连续的二维机械臂控制，用户使用该BCI系统可以流畅地控制机械臂追踪光标的位置。2021年6月，Willett等人（2021）利用植入式BCI成功解码脊椎损伤患者的手写意图并实现了每分钟输出90个字符，其错误率只有5.4%，再次突破性的提升了BCI系统的传输速度。2022年，美国Meta公司通过脑电图和脑磁图以及深度神经网络模型首次实现了非侵入式BCI对人所听到的语音的解码，其中，脑磁图的TOP-10解码正确率可达到72.5%（Défossez等，2022）。

　　与侵入式BCI相比，非侵入式BCI系统具有更高的安全性和广泛性，可采用的信号种类更加丰富，形成了基于脑电、脑磁、功能性近红外和功能性磁共振成像的BCI系统。其中，基于脑电的BCI系统因其在使用成本、使用便携性、信号时间分辨率等方面的优势，得到了广泛关注和持续不断地研究。在非侵入BCI中，面向不同领域的应用场景，研究人员对脑信号编解码方法进行了广泛且深入的探索，形成了主动式、反应式以及被动式BCI交互方式。主动式BCI指输出的控制信号反映大脑的主动性活动，不依赖于外部事件，其典型代表为运动想象（motorimagery，MI）BCI；反应式BCI指由外部刺激引发出大脑活动，系统再根据大脑的反应而产生输出，其主要包括稳态视觉诱发电位BCI和事件相关电位（event-related potential，ERP）BCI；被动式BCI不以控制为目的，在人机交互过程中为计算机提供大脑的隐性状态，从而利于计算机及时作出调整，实现人性化的交互，其主要包括情感BCI、脑力负荷BCI等。这些BCI系统在医疗康复、生活娱乐、科学研究、航空航天和军事等领域均有不同的应用。

　　在不同范式下，研究人员不断研发新的编码方法，以期拓宽BCI系统的应用场景，与此同时，由于不同范式下脑响应的机制不同，脑信号特征差异大，因此针对不同范式下，BCI解码技术也在不断创新，以实现更高的解码准确率，从传统的机器学习方法到近年来的神经网络以及迁移学习方法等都取得快速进步，展现了优秀的解码性能。BCI编解码技术的不断发展进一步推动了BCI系统的实际应用。

　　本年度报告围绕非侵入式BCI，聚焦于四大类BCI系统：运动想象BCI系统、稳态视觉诱发电位BCI系统、事件诱发电位BCI系统和情感BCI系统，分别介绍其在编码范式和信号解码方面最新的研究，以及相应的系统研发及应用的进展。

　　MI表征的是一种运动意图，即想象肢体或肌肉运动，无实际动作输出（Lotze和Halsband，2006）。MI-BCI系统是一种不需要外界刺激，能够反映使用者自主运动意识的BCI系统，可对外设实现主动意愿驱动下的运动操控，并且，MI表征的是使用者对于肢体运动的主观意图，其诱发的脑电振荡模式最接近于原有的运动激活模型，可促进受损脑区和神经通路的重组（Shih等，2012）。

　　MI-BCI范式通常采用的是空间尺度上较好区分的运动模式，常见的运动想象部位为左手，右手，双脚和舌头（Shih等，2012；Tangermann等，2012；Yu等，2015；Khan等，2020；Coyle等，2011）。2021年和2022年的“世界机器赛锦标赛—BCI脑控机器赛”技能赛中MI赛题仍然采用的是左手，右手和双脚传统三类动作的MI。然而，基于不同肢体单一动作的MI-BCI指令集数量有限，难以满足实际应用需求。此外，通过想象不同肢体的运动来控制外设，常常会导致运动意图与实际外设执行指令的不一致，称为认知失联（Edelman等，2015），其会增加患者的认知负荷，严重影响了BCI系统的使用效果。因此，设计单肢体多类别的MI范式并将其有效解码出来是未来MI-BCI发展的重要研究方向之一，已有很多研究者开始探索单关节多个动作以及单肢体多个关节的精细MI范式（邱爽等，2022）。2020年，Jeong等人（2020）设计了单侧肢体的MI范式，构建了11种不同上肢MI数据库，实验任务包括三个主要的上肢运动：伸臂、抓握和扭转手腕，其中，手臂伸展包含六个方向：向前、向后、向左、向右、向上和向下，如图2（a）所示；抓握动作中，参与者被要求想象抓握动作以抓取3种日常使用的物体（卡片、球和杯子），分别对应于侧向、球形和圆柱形抓握，如图2（b）所示；扭腕中，参与者想象手腕向左（旋前）和向右（旋后）旋转，如图2（c）所示。之后，其团队设计了右手的伸展运动（reaching movement），包括上下左右前后六个方向的MI任务，在线 个上肢运动任务（Jeong 等，2020）

　　Fig.2 Eleven motor tasks of the same upper limb （Jeong 等，2020）2020年，Ma等人（2020）设计了单侧肢体多关节MI任务，包括想象右侧腕关节运动和肘关节运动，并进行了数据采集、数据标准化和数据集整理，发布了首个精细运动现象数据集。2022年，该团队进一步设计了单肢体多关节五分类（包括手，手腕，手肘，肩以及静息）的运动想象任务，并实现了五分类任务46.8%的识别正确率（Ma等，2022）。同年，Yang等人（2022）设计了单侧肢体四类任务，包括抓握、搬运、按键和旋转，如图3所示，受试者在想象抓握动作时需要完成打开和关闭手掌；搬运过程中，想象手拿起一个苹果，并移动一段距离；按键任务，受试者的手和手臂需要向前伸展，并按下按钮；旋转任务则表示手腕顺时针和逆时针旋转，并设计了卷积神经网络解码模型实现了47.0%的识别精度。

　　Fig.3 Four tasks of the unilateral limb （Yang 等，2022）

　　Science TechnologyMI脑电解码主要分为特征提取和模式识别两个步骤，最为常用且有效的特征提取方法是共空间模式（common spatial pattern，CSP）及其衍生算法、黎曼几何以及溯源分析等（Edelman等，2015；Ramoser等，2000；Ang等，2008；Barachant等，2012）。之。