王卫星;孙守迁;李超;唐智川
【摘 要】为了在脑机交互中能够对运动意图进行识别,使设备能够预判人的行为动作并提前作出反应,脑电(EEG)信号运用学习过程去解码,并建立识别机制.针对传统生物信号模式识别模型中手动提取特征可能会产生信息损失的问题,引入深度学习的卷积神经网络(CNN),并和目前广泛使用的两种特征提取方法使用BP神经网络分类进行对比.结果显示,CNN在左、右手2分类动作和单手3分类动作中,提高识别精度分别约为4%和8%,增加了动作预测的可靠性.通过对上肢运动意图识别的讨论,可以更好地进行脑机交互控制,并加深对中枢神经信号与手部动作关系的理解.%Electroencephalogram (EEG) signal was decoded using the learning process and the recognition mechanism was established in order to identify the motion intention in the brain-computer interaction and make device predict the behavior of the person and respond in advance.In the traditional biological signal pattern recognition model, the manual extraction of features may cause the problem of information loss.Convoluted neural network (CNN) of depth learning was introduced to identify the moti
on intention based on the EEG signal and compared with the two feature extraction methods widely used at present that use BP neural network.Results showed that CNN improved the recognition accuracy about 4% and 8% in the experiments of left-right hand 2 classification and one-hand 3 classification, and increased the reliability of the prediction.The brain-computer interaction control can be better conducted through the discussion of the upper limb motor intention recognition.The understanding of the relationship between central nervous signals and hand motions was further enhanced.
【期刊名称】《浙江大学学报（工学版）》
【年(卷),期】2017(051)007
【总页数】9页(P1381-1389)
【关键词】卷积神经网络(CNN);脑电信号(EEG);上肢;运动意图;脑机交互
【作 者】王卫星;孙守迁;李超;唐智川
【作者单位】浙江大学 计算机科学与技术学院,浙江 杭州 310007;贵州大学 机械工程学院,贵州 贵阳 550025;浙江大学 计算机科学与技术学院,浙江 杭州 310007;浙江大学 计算机科学与技术学院,浙江 杭州 310007;浙江大学 计算机科学与技术学院,浙江 杭州 310007
【正文语种】中 文
【中图分类】TP241
脑机交互中对运动意图的预测是让设备能够预判人的行为动作,更自然地匹配执行动作. 脑电(electroencephalogram, EEG)信号已被成功引入人机交互系统,实际运动前的运动想象会产生大脑活动,这可以用于意图预测[1]. 与非生物信号相比,它不但能够反映使用者的运动过程,还能够提前预知用户的动作种类,很好地提前解读用户意图[2]. 本文主要通过EEG信号预测手部动作分类,达到感知运动意图的目的. EEG信号的脑节律是由多个频率分量混合组成的时间序列. 解码不同的EEG节律可以区分特定行为和认知处理功能相关联的神经元活动模式. Pfurtscheller等[3]认为重点关注与运动行为密切相关的频带：α/μ频带(8～13 Hz),β频带(13～30 Hz). 大脑对信息的加工将导致脑电波α/μ节律和β节律频谱振荡的幅度减少或阻滞,这一电生理现象称为事件相关去同步(event-related desynchronization, ERD). 与之相反,称
为事件相关同步(event-related synchronization,ERS).使用EEG信号的ERD完成对运动意图的解码已经实现在一些功能性运动中,比如到达任务和轨迹预测任务[4-5].但以往对运动EEG信号的研究大多数是用来区分左、右手的运动意图,而针对单手运动意图的研究较少.相比于区分左、右手动作,检测同侧肢体不同运动,特别是同一关节不同运动的主要困难在于它们激活大致相同区域的运动皮层[6].Vuckovic等[7-8]已经成功采用EEG信号区别两种不同的腕部运动,表明在α/μ和β频带中携带与单手动作相关的可辨信息.目前为止,由于识别精度不高,基本是对二元任务进行分类,很少有研究对手的多个关节运动进行多元分类,比如手肘和手腕多个自由度运动.
以往对EEG信号的研究大多是基于传统的生物信号模式识别模型,这需要从预处理后的信号中手动地提取特征.由于人脑思维模式和大脑信号非常复杂,很多采集的信号没有到明确的意义,手动提取特征会造成信息的损失.随着深度学习的兴起,卷积神经网络(convolutional neural network,CNN)受到研究者的广泛关注,并在图像、语音、视频等诸多领域都取得了一定的应用成果[9].对于生物电信号的分类,目前很少有人使用CNN去替代传统分类方法.CNN的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量.对网络进行设计,能够避免人工设计的特征抽取器,依靠反向传播学习算法将不同层变为
合适的特征抽取器.CNN是比较适合于像EEG一样随着时间变化很大的信号.
使用EEG信号进行上肢运动意图识别,双手和单手关节的运动分类是本文考察的对象.尽管从EEG数据对运动意图预测的鲁棒性和准确性是一个挑战,但适当的特征提取方法和分类器可以更好地解码EEG数据的信息.特别地,非常需要一种能够可靠并自动地从EEG信号中提取和选择最佳辨识特征的方法.在本研究中,CNN被引入基于EEG信号的动作意图识别中,并和目前广泛使用的传统分类方法进行对比.对左、右手2分类动作和单手3分类动作,比较了两种模式识别方法,包括深度学习的CNN和传统EEG信号处理中的BP神经网络(back propagation neural network,BPNN). 结果显示,CNN在两个实验中都提高了动作识别的可靠性和预测的准确率.该研究的目的是通过讨论上肢运动意图识别,以更好地适应脑机交互控制,进一步加深对中枢神经信号与手部动作关系的理解.
使用荷兰BioSemi公司的ActiveTwo64通道脑电系统进行实验数据的采集.按照国际10-20标准电极安放法定义的位置,采集了FC5、FC3、FC1、FCz、FC2、FC4、FC6、C5、C3、C1、Cz、C2、C4、C6、CP5、CP3、CP1、CPz、CP2、CP4和CP6,一共21个通道.采样频率为1 024 Hz. 右耳垂作为参考电极,接地电极由CMS和DRL两个独立电极替代. 5位神经
健康的志愿者(平均为(26.3±7.2)岁)参与了这项研究.在实验期间,被试者身体健康状况良好,实验前24 h内未进行任何形式的剧烈身体运动.在开始实际测量之前,被试者对所有运动过程进行完整的训练,并且被试者接受该研究的书面说明和签署知情同意书.要求被试者从准备运动到执行运动结束,限制头部运动,避免吞咽和眼睛闪烁,并进行慢眼球运动和面部肌肉运动.在实验的不同阶段,在屏幕上存在视觉提示和蜂鸣器听觉提示作为指导.通过E-Prime软件[10]设计实验范式,实验一共包括以下2个部分.
1)左右手动作2分类：被试者上身直立保持坐姿,手臂垂直于地面,分别进行左、右手的屈肘运动.
2)右手动作3分类：被试者分别执行3种类型的上肢运动,包括屈肘(EF)、屈腕(WF)和腕外旋(WP).
在单手动作的选择上,Edelman等[11]观察到在物理行为最相似的2分类任务之间存在较高的错误分类率,比如屈腕(向内弯曲)和腕内旋(向内扭曲)、伸腕(向外弯曲)和腕外旋(向外扭曲).选择物理行为差异较大的3种肘关节和腕关节运动.整个实验范式如图1所示,单个动作的实验的时间为10 s,前2 s为休息阶段,要求被试者思想尽量放松,不作过多的思考.然后,根据语音提
示从第3 s开始有2 s的准备想象阶段.从第5 s开始进行3 s的运动想象,即准备运动阶段.这一阶段要求被试者集中注意力,想象自己即将执行的动作.最后,根据语音提示在第8～10 s执行运动.在这2 s的运动过程中,被试者尽量匀速地转动关节至任意角度.语音提示单次实验结束.每位被试者一共执行250次实验,分别为左、右手2个动作各50次；右手3个动作各50次.整个实验以动作起始点为分界,总体包括了运动想象和运动执行两个阶段.虽然运动想象和运动执行都可以在初级感觉和运动中枢区域产生相似的脑电波形[12],但运动想象仍然是意图识别的研究重点.在运动执行阶段,对实验数据只取0.5 s进行分析,主要考虑了被试者的反应延迟时间.截取用于分析的原始数据段为运动前2 s至运动后0.5 s.
2.1 信号预处理
对记录的数据进行96 Hz低通滤波和50 Hz陷波滤波,以除去线路频率. 对EEG原始数据进行空间滤波,空间滤波是通过去除所有电极的共同噪声来改善EEG数据的信噪声比. 对所选电极通道的数据进行共平均参考(common average reference, CAR). 选择CAR主要是由于其优异的信噪比选择特性,如McFarland等[13]比较了几种空间滤波技术以改善EEG信号的信噪比,得出CAR具有最佳的信噪比. CAR的计算是从选择的通道数据中减去所有21个电极数据的平均值. 计算公式为
未识别的网络式中：为滤波后的电位,为第i个电极的电位.
ERD是指由动作行为而发生的大脑信号去同步化,它与信息处理时在大脑皮层中增加的兴奋性细胞密切相关[14].对ERD现象进行数据分析可知,它的节律信号具有稳定的频域特征,可以将EEG信号的能量值作为量化指标.为了隔离α/μ和β频率分量,对空间滤波后的EEG数据进行带通滤波,使用Matlab的滤波器工具箱的10阶Butterworth滤波器实现.在研究中,只需取脑电信号8～30 Hz频段内的信号进行分析,可以包含运动意图识别的主要特征.ERD的计算公式如下：
式中：i为实验序号,j为每个实验中的数据序号,N为重复次数,R为参考时间段k个数据的平均功率. 通过对EEG数据加一个长度为128 ms、间隔为1个采样点的滑动时间窗,得到能量百分比的ERD时程变化. ERD实际上是计算当前EEG数据和其所在实验序列功率的平均值,得到两者的差值[15].
2.2 卷积神经网络
与其他常规机器学习算法相比,CNN采用多层结构来提高泛化和抽象性能. CNN的主要特点
是能够自动学习复杂的模型,利用一系列卷积滤波、局部归一化、非线性函数、局部降采样等操作从信号中提取特征,并基于反向传播的训练过程以及梯度下降等优化算法.网络的第一层通常表示低级的特征,最终层能够组合低级特征,以识别复杂的目标概念[16].
2.2.1 卷积层 卷积处理是通过局部连接和权值共享的方法,模拟具有局部感受野的简单细胞,提取一些初级信号特征.局部连接指卷积层上的每个神经元与前一层特征中固定区域的神经元建立连接.权值共享指同一特征中的神经元用一组相同的连接强度与前一层局部连接,可以减少网络训练参数.卷积层每个神经元的输入来自前一层特征图中固定区域的神经元,区域的大小由卷积核大小决定.卷积层由输入数据与m个可学习的卷积核卷积并加上偏置,通过激活函数作用得到m张特征图.卷积层2的n张特征图,由卷积层l的m张特征图分别跟n×m个卷积核卷积,每m个卷积结果结合,再加上偏置,通过激活函数作用得到.卷积层的数学表达式[17]为
发布评论