脑机接口总体愿景与关键技术研究报告（2022年）

No.202217 脑机接口总体愿景与关键技术研究报告 (2022年) 中国信息通信研究院2022年11月 版权声明 本报告版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。 前言 脑科学问题是人类社会面临的基础科学问题之一，是人类理解自然和理解人类本身的待深入探索领域，而脑机接口是有效探索手段之一。我们站在通往未知世界的伟大旅程起点上，探索大脑之途势必艰辛而具有挑战。在国家战略和顶层设计的引领下，在科技创新不断更迭促进下，在人民大众的期待关注下，脑机接口技术将在面向世界科技前沿、面向国家重大需求、面向人民生命健康的科技创新主战场上发挥重要作用。为此提出“脑智芯连，思行无碍”这一行业发展总体愿景，并针对此愿景目标的实现，尝试勾画出在不远的未来，脑机接口产业发展的蓝图和愿景期望。希望产业各方能够在此愿景描绘的不同场景下开展更多研究、开发、交流与合作，共同绘制脑机接口产业美好的未来。 研究过程中，我们开展了大量走访调研，就脑机接口系统的总体愿景目标、系统应满足的需求及关键指标、关键技术发展现状和趋势、脑机接口系统的应用场景和业界诉求等问题广泛征询专家学者意见，得到了行业多方的大力支持，并获得了大量有价值的第一手信息和观点。调研工作覆盖国内十多个省份的主要高校、科研机构和企事业单位，主要包括清华大学、天津大学、北京理工大学、昆明理工大学、杭州电子科技大学、电子科技大学、西安交通大学、上海大学、国防科技大学、中科院深圳先进院、中科院半导体所、之江实验室、博睿康科技（常州）股份有限公司、浙江强脑科技有限公司、山东海天智 能工程有限公司、浙江柔灵科技有限公司、西安臻泰智能科技有限公司、北京华脑技术发展有限公司、上海韶脑传感技术有限公司、中电云脑（天津）科技有限公司、无锡傲意科技有限公司、蓝色传感（北京）科技有限公司、上海念通智能科技有限公司、北京品驰医疗设备有限公司等，在此向所有专家提供的专业支持和宝贵建议致以衷心的鸣谢。 目录 一、脑机接口系统的总体愿景1 （一）脑机接口发展概述1 （二）总体愿景3 二、脑机接口系统应满足的需求及关键指标5 （一）需求5 （二）关键指标8 三、脑机接口关键技术15 （一）采集技术17 （二）刺激技术22 （三）范式编码技术25 （四）解码算法技术29 四、典型应用场景案例和需求33 （一）脑状态检测33 （二）神经调控37 （三）对外交互41 五、展望与建议45 （一）未来展望45 （二）发展建议47 图目录 图1脑机接口系统的五大需求支撑愿景实现4 图2脑机接口系统的关键指标5 图3脑机接口关键技术16 表目录 表1脑机接口系统的关键指标8 一、脑机接口系统的总体愿景 （一）脑机接口发展概述 大脑是我们思想、情感、感知、行动和记忆的源泉，大脑的复杂性赋予我们人类智慧，同时使我们每个人都独一无二。近年来，研究大脑认知的神经科学已经在分子细胞、关键元器件、软硬件开发、应用系统、仪器仪表等多方面取得进展和突破，使得脑机接口产业的商业应用逐渐成为可能。 脑机接口是指在有机生命形式的脑与具有处理或计算能力的设备之间，创建用于信息交换的连接通路，实现信息交换及控制。脑机接口按照信号采集方式不同主要分为植入和非植入两种技术路线。 植入式脑机接口是有创方式，是指对深入到颅骨以下的组织进行信号采集和记录。常见技术手段包括皮层脑电图（Electrocorticogram,ECoG）、单个神经元的动作电位（Spike）和局部场电位（localfieldpotential,LFP）。也有技术以介入为手段，以创伤性较小的方式将电极送入颅内血管来采集脑电信号。植入式脑机接口记录的信号时空分辨率高、信息量大，能够对复杂任务进行实时、精确控制。 植入式脑机接口技术主要应用在医疗领域，最有可能率先落地并带来市场收益的是神经替代、神经调控相关技术和产品。神经替代脑机接口技术是为了弥补特殊人群因器官损伤导致的信息收发能力缺损，采用脑机接口技术把感觉信息直接写入脑，或是将脑意图信息从脑内读出，解码后实现对外交互，完成意愿动作。神经替代脑机接口 技术国内外都已经进入科研临床阶段，主要针对感觉和/或运动神经损伤人员（如瘫痪、失语和失明患者）做基本功能替代或功能重建。神经调控脑机接口技术是进行精神状态实时解析并精准刺激调控脑内神经活动的异常状态。对记忆丧失、中重度抑郁、精神分裂、毒瘾戒断等病症来说，神经调控脑机接口技术比药物治疗更为精确高效。由于当前精神类疾病发作的理论模型尚未建立，且治疗靶点不明，因此神经调控脑机接口技术主要进行神经机理探索和治疗尝试，辅助提升此类病症的诊疗水平，还无法进行广泛临床治疗。 非植入式脑机接口采用无创采集技术在头皮表面或附近采集大脑响应信号。常用技术手段包括脑电图（electroencephalography,EEG）、功能近红外光谱（Functionalnear-infraredspectroscopy,fNIRS）、脑磁图（magnetoencephalography，MEG）、功能核磁共振成像（FunctionalMagneticResonanceImaging，fMRI）。非植入式脑机接口由于安全无创，因此得到了广泛的研究与产业应用，但受限于在脑外采集信号的强度与噪声干扰，目前可实现的脑机交互性能有限。 非植入式脑机接口技术可应用在更广泛的生活生产领域，正逐步在康复训练、教育娱乐、智能生活、生产制造等众多方面为人类带来福祉。产业界在非植入脑机接口领域普遍重视面向产业和消费领域的研究，配合虚拟现实、增强现实、眼动仪、外骨骼等外设，利用非植入式脑机接口系统开展多场景应用探索，如：运动康复训练；利用用户脑波创造音乐和控制电器；利用用户情绪识别数据个性化推荐用户 潜在喜好产品；对用户情绪进行识别感知以提示预警，从而实现疲劳驾驶提醒和安全生产等等。 脑机接口已成全球科技前沿热点，在面向未来的科技创新发展中占有重要地位。世界主要国家和地区都在加快脑机接口产业布局，积极开展相关技术研发。脑机接口技术也将带动和引发其他技术的未来发展。脑机接口技术是人与机器、人与人工智能交互的终极手段，也是连接数字虚拟世界和现实物理世界的核心基础支撑技术之一，同时其与量子计算、云计算、大数据等信息通信（ICT）技术的结合将成为各领域新的重要研究方向。可以确定地说，受益于技术的不断革新与突破，脑机接口将会显著提升人类生活质量。 （二）总体愿景 脑科学问题是人类社会面临的基础科学问题之一，是人类理解自然和人类本身的“终极疆域”，而脑机接口是破解该“终极疆域”的有效手段之一。在国家战略的积极推动下，在科技创新不断更迭促进下，在人民大众期待关注下，脑机接口技术将发挥重要作用。脑机接口技术涉及脑科学、人工智能技术、信息通信技术、电子信息技术和材料学。未来的脑机接口技术，应实现“脑智芯连，思行无碍”这一行业发展总体愿景。其中，“脑”寓意为大脑和思维意图，“智”寓意为人工智能和类脑智能，“芯”寓意为以芯片为代表的外部设备，“连”有通讯、接口、协同三重含义。通过“脑智芯连”的科学融合，实现“思行无碍”的目标，即期待大脑及人类智能和外部设备相互连接后，人 类的思想和行为控制之间，不再有疾病和空间的障碍；人类的能力得到显著增强，不再承受神经疾病带来的痛苦。 为促进“脑智芯连，思行无碍”这一愿景目标的实现，报告提出脑机接口系统应满足“准确、高效、稳定、易用和安全”五大需求。脑机接口系统应具有准确的大脑意图解码算法；高效的信息解码效率，快速地反馈响应和执行任务；稳定的设备性能与抗干扰能力；易用、轻便、舒适的使用体验；安全的植入、采集和信息传送保障。 来源：中国信息通信研究院 图1脑机接口系统的五大需求支撑愿景实现 脑机接口应从性能指标与可用性指标两个方面有效衡量脑机接口系统是否满足五大需求。性能指标主要体现在响应时间、识别正确率、可输出指令数量和菲茨吞吐量四个易量化指标；可用性指标主要体现在易用性、长效性、鲁棒性、安全性和互操作性五个指标。这些指标在不同技术路线下、不同应用场景下的需求各有差异，但基本涵 盖了脑机接口技术和系统各方面要求。经过分析和产业调研，报告也给出了为促进愿景目标实现的各指标的建议值，从而为业界的技术创新和系统开发提供一定的参考。 图2脑机接口系统的关键指标 来源：中国信息通信研究院 脑机接口总体愿景的实现也离不开核心关键技术的支撑。关键技术包括采集技术、刺激技术、范式编码技术和解码算法技术。关键技术面向不同场景衍生出不同应用。本报告就当前主流应用场景进行归纳并分为三类，分别是脑状态检测、神经调控和对外交互技术等。 二、脑机接口系统应满足的需求及关键指标 （一）脑机接口系统应满足的需求 1.准确 在脑疾病诊断、行为辅助决策、外设交互控制等应用场景下，共 性需求是系统能稳定做出识别正确率较高的判断，即系统虚警概率低，识别精确，这样外部计算设备才能对大脑的需求正确反馈。识别正确率是系统核心需求之一。 2.高效 脑机接口技术产业发展和应用一个重要前提就是高效，最好能够达到和肢体响应一样甚至更快的效率，实现人机快速响应。指令交互、打字、控制机械外骨骼等应用场景下如出现秒级延误则给用户体验带来较为负面的影响。这要求系统快速解码识别大脑意图并做出反馈，响应时间是衡量快速响应的核心关键指标。系统快速响应性能，需要范式编码、算法解码和系统通信技术相互配合。在实际应用落地过程中，也应兼顾“快”、“准”、“稳”等方面协同发展。 3.稳定 脑机接口本质上是一套通信系统，在不同的应用场景下，都需要考虑系统各项指标的稳定和抗干扰能力，即系统的长效性和鲁棒性。长效性是指系统需要保持长期性能稳定。系统能在较长时间内各项性能指标不出现较大波动。鲁棒性是指系统在一定的外部干扰情况下，依然能够保持稳定的工作性能指标。在植入式脑机接口应用场景中，由于电极易于失效，系统更侧重长效性指标；而在非植入式场景，由于信号易受干扰，更加侧重系统鲁棒性。 4.易用 易用包含“轻便”与“便捷”两个含义。“轻便”在非植入情形下指脑机接口系统轻巧便于携带，在植入情形下指植入物尺寸小、重量轻。沉重的脑机接口系统一方面可能导致用户接触时造成身体压迫，产生不适感，不利于长期使用。另一方面不利于外出携带，难以采集大范围的脑信号，从而难以实现更广泛的场景应用。 “便捷”是指脑机接口系统具有操作便捷性。一方面需要降低使用者的操作复杂性，避免复杂的调试和维护等工作。尤其是在消费场景下，有必要尽量缩短设备部署时间、人机适应时间，实现快速交互。这就需要尽量减少和压缩模型训练时长，调试时长，从而提升用户对产品的接受度。另一方面普及无线信号传输，摆脱有线束缚，使用起来更加方便。此外，可考虑与智能外设，如智能耳机等终端设备进行系统化设计，提升使用的舒适性、便携性。 5.安全 脑机接口系统作为一种人机交互系统，在安全方面要考虑的因素包括：系统需要在软件和硬件方面，能有效防御外部恶意攻击，避免数据被窃或恶意篡改，系统需要内置一定的安全自检机制；在机制和制度保障方面，需要有合法合规的信息与科技伦理制度、法规、倡议、指南和标准，确保神经隐私与神经权利不受侵犯，保障系统用户的人身健康安全。对植入式脑机接口系统来说，在电极材料选择上要考虑散热性能、要确保植入后人体安全，需要对植入物的质量、形状、功 耗和应用场合进行限定，以避免损害生物组织。对于非植入式脑机接口技术来说，不当的使用方法可能存在潜在的人身安全隐患，需要对脑机接口系统的使用安全性做严格要求。 （二）脑机接口系统的关键指标 目前脑机接口技术正从“学术科学探索”走向“应用转化落地”。为推进产业落地工作的开展，本报告从性能和可用性两方面提出满足五大需求的脑机接口系统关键指标。性能指标包括响应时间、识别正确率、可输出指令数量和菲茨吞吐量，可用性指标包括易用性