[正版]面向实用的脑-机接口 缩小研究与实际应用之间的差距 介绍和论述实用化BCI传感器及其信号处理 布伦丹Z艾利森等

目录

译者序

前言

第1章 BCI现状及进展：概述、分析和建议 1

1.1 引言 1

1.2 本书概述 2

1.2.1 第1部分概述 3

1.2.2 第2部分概述 4

1.2.3 第3部分概述 5

1.2.4 第4部分概述 6

1.3 预测和建议 7

1.4结 10

参考文献 11

第1部分 传感器、信号和信号处理

第2章 混合光-电BCI：实践和可能 15

2.1 引言 15

2.2 EEG与fNIRS的基本生理起源 15

2.2.1 脑电的起源 15

2.2.2 fNIRS响应的起源 16

2.3 信号模型 24

2.3.1 血管响应建模 24

2.3.2 分光光度转换 26

2.3.3 合成信号的生成 27

2.4 公开（外显）的和想象（内隐）的运动任务期间EEG-fNIRS联合测量 28

2.4.1 fNIRS/EEG传感器 29

2.4.2 实验描述 29

2.4.3 信号处理 30

2.4.4 结果 31

2.5 结论 32

参考文献 33

第3章 BCI中的组合分类技术 36

3.1 引言 36

3.2 理论背景 37

3.2.1 模式识别方法：组合的定义和背景 37

3.2.2 融合的模式识别视角 38

3.2.3 为组合的优势打下扎实的基础 40

3.3 组合和融合的层次 41

3.3.1 联 41

3.3.2 分类级联 42

3.3.3 分类融合 42

3.3.4 决策融合 44

3.4 组合的类型 45

3.4.1 分类器组合 45

3.4.2 堆叠式组合 45

3.4.3 多导联组合 45

3.4.4 多模态组合 46

3.5 重采样策略 46

3.5.1 数据集划分 47

3.5.2 特征空间划分 49

3.5.3 信号分割 50

3.6 融合算子 50

3.6.1 基于样本的融合 51

3.6.2 时域融合算子 52

3.7结组合所得的结果 52

3.8 结论 54

参考文献 55

第4章 采用独立成分分析提升BCI能 59

4.1 引言 59

4.2 ICA在EEG信号处理中的应用 59

4.3 ICA在BCI系统中的应用 61

4.3.1 伪迹剔除 62

4.3.2 提高任务相关脑电信号的信噪比 63

4.3.3 选择电极 65

4.4 基于ICA的零训练BCI 66

4.4.1 实验和数据记录 67

4.4.2 方法 68

4.4.3 结果 69

4.5 讨论结 71

参考文献 72

第5章 皮层脑电（ECoG）电极在BCI应用中的使用 75

5.1 引言：从术前诊断到运动解码 75

5.2 ECoG电极的方 77

5.3 用于BCI的ECoG信号 80

5.4 用于BCI的多通道ECoG阵列 81

5.4.1 激光加工电极的制造 82

5.4.2 个研究的生物评价/结果 85

5.5 可植入的无线系统 86

参考文献 89

第2部分 设备、应用和用户

第6章 设备、应用和用户介绍：基于共享控制技术的实用BCI 95

6.1 引言 95

6.2 当前和新兴的用户群体 96

6.3 BCI设备和应用场景 97

6.3.1 通信和控制 97

6.3.2 运动替代：恢复抓能 98

6.3.3 娱乐和游戏 100

6.3.4 运动康复与运动恢复 100

6.3.5 心理状态监测 101

6.3.6 混合BCI 101

6.4 基于共享控制技术的实用BCI：面向移动控制 102

6.4.1 运动残疾患者控制的临场感遥操作机器人 103

6.4.2 BCI控制轮椅 104

6.5 利用EEG错误电位实现手势识别系统的自适应 106

6.6 结论 108

参考文献 109

第7章 BCI在手部运能康复中的应用 117

7.1 引言 117

7.2 脊髓损伤患者手部运能的康复：脑控神经假肢 118

7.2.1 上肢能电刺激 118

7.2.2 BCI与FES技术相结合 121

7.3 脑卒中后手部运能的康复：基于BCI的附加干预 123

7.3.1 BCI在脑卒中康复中的应用：*新进展 124

7.3.2 FES在脑卒中上肢康复中的应用 126

7.3.3 BCI与FES技术相结合在康复临床中的应用：一种整合方法 126

7.4 结论与展望 130

参考文献 131

第8章 以用户为中心的BCI研发设计 138

8.1 基于技术的残疾人辅助解决方案 138

8.1.1 理解和界定残疾 138

8.1.2 辅助技术和BCI 139

8.2 以用户为中心的BCI研发方案 141

8.2.1 以用户为中心的设计原则 141

8.2.2 在BCI研究中与*终用户合作 142

8.3 BCI支持或替换现有AT解决方案 148

8.4 结论 150

参考文献 150

第9章 设计未来BCI：比特率 155

9.1 引言 155

9.2 BCI的控制特 155

9.2.1 BCI范式的特定问题 156

9.2.2 克服BCI局限的方法 157

9.3 BCI从可用研究到神经工效学优化 158

9.3.1 ERP相关决定因素的现有文献 158

9.3.2 美学、互动隐喻、可用和能 162

9.4 共享控制 163

9.5 创建有效的应用结构：三级任务 165

9.5.1 低层级：BCI控制信号 165

9.5.2 中间层级：应用 166

9.5.3 高层级：用户 166

9.6 吸引终端用户与期望的作用 166

9.7 研究交互：原型和 167

9.7.1 展示用户需求的低保真原型 168

9.7.2 面向设计与开发的高保真模拟 169

9.8 结论 171

参考文献 172

第10章 BCI与虚拟现实相结合：面向新的应用和改进的BCI 177

10.1 引言 177

10.2 VR和BCI控制的基本原理 178

10.2.1 VR的定义 178

10.2.2 基于BCI的VR应用体架构 179

10.3 BCI控制的VR应用评述 181

10.3.1 运动想象控制的VR环境 181

10.3.2 基于SSVEP的VR/AR环境 186

10.3.3 基于P300的VR控制 189

10.4 VR对BCI的影响 191

10.5 结论 193

参考文献 194

第3部分 应用接口和环境

第11章 BCI与用户体验评价 1

11.1 引言 1

11.2 BCI用户体验评价的现状 2

11.2.1 用户体验影响BCI 2

11.2.2 BCI影响用户体验 3

11.3 将HCI用户体验评价应用于BCI 3

11.3.1 观测分析 4

11.3.2 神经生理测量 5

11.3.3 访谈和问卷调查 5

11.3.4 其他方法 6

11.4 案例研究 6

11.4.1 案例研究：意识控制羊 7

11.4.2 案例：仓鼠实验室 8

11.5 讨论和结论 210

参考文献 211

第12章 多模态交互和多任务环境下的BCI框架 214

12.1 引言 214

12.2 在双重任务环境中使用BCI面临的挑战 215

12.3 组合BCI 219

12.4 在多模态用户接口中集成BCI：相关问题 2

12.5 讨论和结论 221

参考文献 222

第13章 脑电激活的人机交互及应用 225

13.1 引言 225

13.2 脑状态识别算法和系统 226

13.2.1 应用的神经反馈系统 226

13.2.2 神经反馈系统的信号处理算法 227

13.2.3 神经反馈系统用于效能 227

13.2.4 情感识别算法 228

13.3 时空分形方法 230

13.3.1 用于可视化分析的脑电三维映射 230

13.3.2 基于分形的方法 231

13.3.3 实时脑状态识别 232

13.3.4 特征提取 232

13.4 实时脑电激活的应用 233

13.4.1 神经反馈训练系统 234

13.4.2 基于实时脑电的情感监测与识别 234

13.5 结论 236

参考文献 237

第14章 视觉诱发电位的相位检测在BCI中的应用 240

14.1 引言 240

14.2 信号处理和模式识别方法 241

14.2.1 空间滤波 242

14.2.2 相位同步分析 243

14.3 实验证据 243

14.3.1 *佳刺激频率 244

14.3.2 BCI操作的标定 246

14.3.3 BCI操作和信息传输速率 246

14.4 讨论和结论 248

参考文献 248

第15章 干电极脑电传感器能否提高基于SMR、P300和SSVEP的BCI的可用 250

15.1 BCI研究的动机 250

15.2 方法 253

15.3 实验设置 254

15.4 P300的BCI 255

15.5 运动想象 255

15.6 SSVEP的BCI 256

15.7 结果 256

15.8 P300实验范式 257

15.9 运动想象的干电极 259

15.10 SSVEP训练 264

15.11 讨论 265

参考文献 267

第4部分 实用的BCI基础设施：新出现的问题

第16章 BCI软件平台 271

16.1 引言 271

16.2 BCI00 272

16.3 OpenViBE 274

16.4 TOBI 277

16.5 BCILAB 280

16.6 BCI + + 282

16.7 xBCI 284

16.8 BF + + 287

16.9 Pyff 288

16.10结 290

参考文献 292

第17章 重要问题：报告BCI能的准则 297

17.1 引言 297

17.2 能指标 298

17.2.1 混淆矩阵 298

17.2.2 正确率和错误率 299

17.2.3 Cohen’s Kappa 300

17.2.4 敏感和特异 301

17.2.5 F-测量 301

17.2.6 相关系数 302

17.3 分类的重要 302

17.3.1 分类的理论水平 302

17.3.2 置信区间 303

17.3.3结 305

17.4含时间的能指标 305

17.5 估计离线数据的能指标 307

17.5.1 数据集操作 307

本书是脑-机接口(BCI)的经典著作，自在缩小BCI研究与实际应用之间的差距，推动BCI技术走出实验室，走向实际应用。主要介绍和论述实用化BC传感器及其信号处理，实用化BCI的设备、应用及用户群体，BCI实际应用接口和环境，实用化BCI基础设施建设中新出现的问题。鉴于BCI研发和应用的跨学科质，本书不仅可供从事BCI研发的人员参考，也可供受认知与神经科学启发的人工智能括类脑计算、脑机智能融合等方向）的研发人员参考；本书还可作为高等院校及科研院所C1课程的参考书，以供高年级本科生、硕士和博士研究生学习和参考。

第1章 BCI现状及进展：概述、分析和建议

1.1 引言

脑-机接口（brain-computer interface，BCI）是一种不依赖于外周肌肉活动可以与外界进行信息交流的装置。其*初的研发目的是为行动不便的患者，如类似肌肉萎缩症患者提供一种通信工具。随年来实用电极、可用和自适应软件等方面取得的进步以及制作成本降低，BCI也在吸引着越来越多的新用户群体。例如，因为过去的BCI往往比较烦琐，技术要求也更高，原来轻度中度残疾的患者更倾向于选择其他的专门为残疾人设计的通信辅助设备，而现在他们可能更愿意选择BCI并受益于它。简单便宜的BCI设备迎来了更广阔的、面向健康人群的市场。

目前，健康用户使用BCI一般只是为了娱乐。但从长远的角度来看，下一代BCI则主要是让用户觉得有更好的实用，因此这些类型的BCI将会获得更广泛的应用。这些BCI系统能够在传统手段（如键盘和游戏手柄）不可用或不足时提供一种新的有用的通信方式。未来的BCI系统将会以不同的方式现在单一的通能，例如，通过监测失误、警觉、挫折或其他认知和情绪状态来促进人机交互（human-computer interaction，HCI）。BCI提供的硬件、软件以能将能更有效地与用户其他的穿戴设备进行整合或集成。BCI有助于康复能改善，可以进一步突破目前单一的通能，使BCI吸引更多的用户，如脑卒中患者、自闭症或注意力障碍患者。未来5年 BCI将有希望在以上领域中解决相应问题。

BCI领域面临着越来越多的挑战，因为BCI并不是一般人都熟知的概念，许多潜在用户或非用户可能会对其抱有不切实际的期望或莫名的恐惧。研究组可能还在研究前人已研究过的东西，或错过来自其他学科或研究项目的机会。除了进一步发展和共享关于BCI的知识，我们也需要澄清一些实际的基础设施问题，如专业术语、定义、标准、伦理和报告指南。BCI这个品牌的吸引力也可能会被过分吹嘘或夸大，例如，媒体或科学文献可能在撰写报告时不择手段，报告一些不或无效的产品，甚做出一些不道德的行为。BCI这个词汇已经比5年前用得更加广泛，如用来指代向大脑写入信息（“写入大脑”）或逐字读取大脑信息（“读心术”）的设备[8， 23]。

另外，还应该关注一些关键的进展。随着技术的发展，BCI设备的灵活和可靠可以得到进一步改善。可能出现的新应用、采用黄金和复合材料取代传统凝胶的干电极技术、实用的软件技术以及越来越多的公众需求都意味着我们可能正在迎来BCI研究的黄金时代。销售额、成本和对支持的依赖这些关键能指标，反映了未来5年的实质重大进展。虽然当前BCI正处于快速发展阶段，行业内充满了强烈和狂热的合作期望，但预计5年后，BCI在许多方面的热度都会减退，趋于理。BCI的Jacques Vidal预料到了未来BCI行业的热度减退，可能会进入低谷，在退休很多年之后，他于11年9月在本章作者在奥地利格拉茨举办的一个研讨会上发表演讲：“虽然感觉还像昨天一样，但实际已大不相同。”

1.2 本书概述

本书分为四个部分，这些部分都围绕着BCI的四个组成部分（图1.1）精心组织，使之形成体系。有关BCI的文章通常描述了其四个组成部分，它们分别负责以能。

（1）直接测量大脑活动。

（2）从这些活动中识别有用的信息。

（3）通过设备或应用来实现信息或指令。

（4）提供应用接口或操作环境。

图1.1 BCI系统的组成[2]。本书的不同章节均是围绕这些不同的组成部分

精心组织而形成体系的

本书第1部分讨论BCI系统的传感器、信号和信号处理，第2部分讨论实现用户指令的设备和应用，第3部分讨论BCI的接口和环境，第4部分讨含整个BCI组成部分的实际问题。

1.2.1 第1部分概述

本书的第1部分讨论信号、用于采集信号的传感器，以及用于提取信息的信号处理技术。大多数BCI研究和开发，尤其是欧洲和亚洲的BCI研究，都是基于脑电（electroencephalography，EEG）活动，即采用带有导电凝胶的电阻电极记录EEG信号。这是BCI系统的标准，它符合多种需求目标。然而，许多研究人员括参与编写本书的作者，认为如果我们或跳出这个标准平台，可以在可用（uility）、鲁棒或健壮（robustness）以及能方面做更多的工作。

正如本书第18章和的一些文章中所述，研究者以各种方式使用了混合BCI这个术语[3， 21]。第2章讨论混合传感器系统，这种系统整合了不同的大脑活动测量技术。在这里，我们能看到一个混合光-电传感器系统的例子，它提供了在单个系统红外光谱（functional near-infrared spectroscopy，fNIRS）和EEG的联合采集。由此得到的“复合”信号同时提供了同一脑区的神经电流动力学活动信息。根据采用方法的不同，有许多可能的混合系统，但是想要让BCI系统走向实用或有用，必须符合日常生活，必须考虑到便携和设备成本，符合这些要求的系统才能表现出应用潜力。

这种混合系统（如EEG-fNIRS系统）的结果是需要某种类型的数据融合，以连贯的方式理解这些复合信号。在第3章中，我们对分类器组合及其在BCI中的应用进行了重要的评述。这种机器学习方法适合于混合系统和一般的BCI，因为对于BCI来说，它的信号来自中枢神经信号这种可变的数据源，而组合的机器学习方法适合处理这种信号。

对于许多基于EEG的BCI方法年来的研究已经转移到提升能上。第4章主要讨论独立成分分析（independent component analysis，ICA）在三个重要且实用的方面的改进。该章讨论了伪迹剔除、提高信噪比和选择电极，以及如何在线实现这些技术。这些改进对于让BCI技术从实验室进入现实应用是必不可少的。

在*后，我们考察了侵入式传感器，对于某些应用，有效运行的BCI是有意义的[17]。然而，对于侵入式电极的优点、必要以及这种方式的危险和侵入，人们还持有很多不同的观点。但毫无疑问，一些研究组朝着和可植入的皮层脑电（electrocorticogram，ECoG）BCI迈出了重要的一步。第5章讨论这类系统的可能以及它们可能的结果。

1.2.2 第2部分概述

采集大脑信号、应用先进的信号处理和机器学习算法对不同的大脑模式进行分类，只是在大脑和机器之间建立新的通信通道的开始。第2部分介绍如何为不同的用户提供新的设备和应用，这是一个简单控制任务的挑战。

这部分的第1章（本书第6章）中，Millán等概述了当前的设备和对于不同用户群体的应用情况[18]。到目前为止，典型的BCI应用需要一个很好且的控制通道来实现与没有BCI的用户相当的能。然而，现代BCI提供的信息吞吐量或传输速率较低，不足以灵活地控制这类复杂的应用。类似于共享控制这样的技术可以交互作用，产生与没有BCI的系统相当的能[9， 26]。通过共享控制，用户以相当慢的速度发送指令（例如，轮椅的方向），系统执行快速且的低级交互（例如，避障）[7， 27]。第6章还举例说明了如何通过新型的混合BCI体系结构来改善这种应用的能[3， 22]，该体系结构是BCI与其他剩余的输入通道的协同结合。

Mattia及其同事在第7章讨论了BCI在神经康复、减轻运动损伤、恢复手部运能等方面的作用和应用。一方面，BCI系统可以通过控制患者手臂的神经假肢来绕过受损伤的中枢神经系统，从而管理患者在周围空间的伸展和抓能活动[]；另一方面，BCI技术可以通过提供与心理练习、运动意向和其他神经元招募策略相关的大脑信号的在线反馈来促进运动训练，这有助于促进脑卒中后运能障碍恢复有关的神经可塑[6]。

BCI不仅能够让健康受试者在实验室环境中的受控条件下使用，而且能让受试者（如残疾人）在家中、实际生活环境中进行控制和应用[18]。但哪种应用对他们有用，BCI能对采用其他通信技术开发的应用产生多大的影响呢？Holz和其合作者在第8章讨论了用户可以参与到BCI研发的各个方面，以及用户在BCI驱动的辅助应用设计和开发中能够起到的作用或应该扮演的角色。他们关注的是BCI在通信、信息与通信技术（information and communication technology，ICT）和环境控制领域中的应用，这些是辅助技术解决方案可以在参与和排斥之间产生区别的典型领域。以用户为中心的设计（user-centered design）是BCI研究中一个备受关注的重要准则，本书将在第11章中从应用接口的角度对这些问题进行阐述。

Quek和他的同事在第9章阐述了类似的问题。该章的是如何设计新的BCI应用，以或拓展基本的BCI控制和单个意图检测事件。整个控制系统的设计过括寻找一个合适的控制类比、遵循神经人体工程学（神经工效学）原理、设计视觉上具有美感的反馈、处理系统的可学习、创建有效的应用结构（导航），以及探索交互式BCI系统在社交方面的能力。设计人机系统括获取用户的知识、偏好、需求和优先级。为了避免*终用户过多地承担评估任务，并考虑到BCI特有的问题，用于获取这些任务的技术和流程必须适用基于BCI的应用[29]。

本部分的第10章关注一个新兴的应用领域年来，BCI引起了虚拟现实（virtual reality，VR）界的兴趣，成为虚拟环境（virtual environment，VE）中很有前途的交互设备[12]。虚拟现实研究者对这些隐式交互技术有很大的兴趣。例如，用户可以想象他们的手运动来控制一只虚拟的手，或者只通过想象或注视高亮的目标能够参观房屋或博物馆[13， 16]。此外，虚拟现实技术可以为适应现实环境的程序提供一个良好的测试平台。残疾人可以在虚拟环境中学习控制自己的动作或执行特定的任务。Lotte和其合作者提供了几项强调这些相互作用的研究。

1.2.3 第3部分概述

虽然术语“BCI括三个词，但“接口（interface）”部分并没有得到足够的重视。随着干电极变得越来越廉价、有效，检测大脑活动的传感器正在取得巨大的进步。模式分类一直是一个活跃的研究领域，也有大量的文章和数据分析算法竞赛。但是，在早期的BCI研究中，只有相对较少的BCI文章关注BCI的可用改进、沉浸和自然环境、用户体验的评估、以用户为中心的接口设计、考虑特殊用户群体的需求以及与BCI人机交互方面相关的其他问题[2， 3， 10， 11， 19]。

第3部结了BCI在应用接口和环境方面的研究进展和问题。第11章阐述如何评估用户体验，介绍一些具体的案例研究。第12章讨论多模态交互以及如何在多模态环境下无缝且有效地整合系统的各个部分，这个问题在第17章中做了进一步探讨。第13章介绍了BCI技术更新、更广泛的应用，以改善人机交互作用。接下来的第14章和第15章说明相位检测和干电极脑电传感器在改善能和可用方面发挥的作用。

在第11章中，van de Laar等讨论了一些BCI领域的新兴问题，这些问题借鉴自更广泛的人机交互研究领域中的问题。他们指出，在是否采用新技术时，可用是一个关键的因素，它强调评估用户体验（user experience，UE）的重要。他们评述了表明用户体验和BCI两者相互影响的工作括用于评估用户体验的方法，如观测分析、神经生理测量、访谈和问卷调查。在识别和应用正确的用户体验评估方法时，作者使用了两个不同的案例作为练习。该章提供了有力的论据，认为应该在BCI研究中更广泛地使用用户体验评估。

随着在实际生活和各种应用中投入使

本书是脑-机接口（BCI）的经典著作，旨在缩小BCI 研究与实际应用之间的差距，推动BCI 技术走出实验室，走向实际应用。