收稿日期:2020⁃02⁃26;修回日期:2020⁃04⁃19㊀㊀基金项目:国家自然科学基金资助项目(61966023)
作者简介:柯铭(1978⁃),女,河南洛阳人,副教授,硕导,博士,主要研究方向为复杂网络理论㊁大脑功能和结构研究(kemingkitty@163.com);尹倡隆(1990⁃),男,甘肃平凉人,硕士研究生,主要研究方向为生物信息处理;刘光耀(1988⁃),男,甘肃兰州人,博士研究生,主要研究方向为功能磁共振图像处理;张祺瑞(1994⁃),男,河南许昌人,硕士研究生,主要研究方向为交通信息智能化分析处理.
基于1DCNN⁃XGBoost混合模型癫痫脑电分类
柯㊀铭1,尹倡隆1,刘光耀2,张祺瑞1
(1.兰州理工大学计算机与通信学院,兰州730050;2.兰州大学第二医院核磁共振科,兰州730050)
摘㊀要:在癫痫脑电自动分类研究中,针对传统方法需手动提取特征㊁特征提取不充分㊁适应性不强等问题,提出一种
一维卷积神经网络结合XGBoost算法的单通道癫痫脑电分类模型1DCNN⁃XGBoost㊂该模
型首先在原始脑电信号上训练一维卷积模型,利用训练好的一维卷积模型实现特征的自动提取,最后运用XGBoost算法进行训练和分类㊂通过对波恩大学癫痫脑电数据集进行分类实验,结果得到了98.83%的分类准确率,说明提出的模型能有效提取癫痫脑电信号的特征信息,并能进行准确的分类,分类精度和稳定性都有所提高㊂关键词:特征提取;一维卷积神经网络;XGBoost;脑电分类
0㊀引言
癫痫是一种发病率很高的中枢神经系统功能障碍慢性疾病,发作时临床表现为运动㊁感觉㊁自主神经㊁意识的异常及精神障碍等,严重影响患者的生活质量㊂临床医学发现,在癫痫样发作时,患者脑电与正常人脑电存在很大差异,故在癫痫的诊疗领域,脑电图(EEG)是最重要的检查项目之一㊂因此,如何有效地对癫痫脑电信号进行快速分析处理,提高计算机化癫痫检测的准确性和检测效率是近年来的研究热点,对于临床上癫痫的诊断也具有重要意义㊂
癫痫脑电信号分类研究主要包括特征提取和分类两个部分㊂特征提取研究中,主要有时域分析㊁频域分析㊁时频分析㊁混沌理论以及非线性动力学方法等[1]㊂AR模型[2]㊁独立分量分析[3]㊁固有模态分解[4]㊁公共空间模式[5]㊁小波和小波包变换[6 8]等是常用的脑电信号特征提取算法;此外,脑电信号具有明显的非线性特性,因此,非线性动力学和混沌的方法也为脑电信号研究开辟
了新途径,关联维数[9]㊁Lyapunov指数㊁近似熵㊁样本熵[7,10]㊁Hurst指数[11]和混沌理论等指标都常应用在EEG信号分析中㊂然而局限于任何一种单一的方法,会使得特征提取不充分,泛化能力不强㊂
与传统方法比,基于神经网络的深度学习方法不需要手动提取特征,能直接训练原始脑电信号,对不同的信号特征进行自适应学习,从而能对脑电信号进行深度挖掘,得到更具有代表性的特征㊂
另一方面,好的分类算法在训练和识别速度㊁分类准确性和稳定性方面有很重要的作用,常用方法有SVM[4,6,12]㊁隐马尔可夫模型㊁极限学习机等[13,14]㊂对于单一的分类算法,当分类数据较大㊁特征较多时,分类结果不稳定;集成学习通过将多个弱学习器进行结合,可以获得比单一算法显著优越的泛化性能,是改善脑电信号分类的有效途径㊂综合以上分析,本文提出了一种基于一维卷积神经网络(one⁃dimensionalconvolutionalneuralnetwork,1DCNN)结合XGBoost集成算法的癫痫EEG混合分类模型1DCNN⁃XGBoost,以期实现癫痫EEG信号的自动特征提取,缩短可分类预测的脑电时长,得到具有较高分类准确率和良好泛化性能的分类系统㊂
1㊀实验数据
实验数据来自德国波恩大学癫痫脑电数据集[15],该数据集在癫痫的诊断和分析研究中应用广泛,
数据集分为setA setE五个子集,每个子集包含100个同类型样本,每个样本包含4097个脑电时间序列㊂数据采样频率为173.61Hz,持续时长23.6s,已经过0.53 40Hz人工滤波除伪迹㊂其中,setA㊁setB子集分别为5名健康受试者在睁眼和闭眼状态下采集的脑电信号;SetC子集为5名癫痫患者在发作间期病灶对侧区域采集的脑电信号;setD㊁setE子集为发作间期和发作期病灶区采集的脑电信号㊂五类脑电信号示例如图1所示,可以看出五类脑电信号波形具有显著差异,癫痫发作期的幅值明显较大㊂
2㊀方法
本文提出的1DCNN⁃XGBoost混合分类模型框架如图2所示㊂该方法主要包括以下几个步骤:首先,以原始脑电数据训练1DCNN模型;以训练好的1DCNN模型作为特征提取器提取特征;将特征输入XGBoost模型进行训练,同时结合贝叶斯优化算法优化超参数;最后计算评估指标,对模型进行评估㊂具体流程将在后续章节
作详细介绍
图1㊀五类EEG
信号示例
图2㊀癫痫脑电分类系统流程
2 1㊀1DCNN模型
卷积神经网络[16]已被广泛应用于许多领域,具有强大的特征学习与分类能力,相比于二维卷积,1DCNN具有相似的特点和处理方法,关键区别在于输入数据㊁卷积核的维数及卷积核在数据之间的滑动㊂1DCNN的输入是一维向量,卷积核和特征图也是一维的,其基本结构如图3所示
图3㊀一维卷积神经网络基本结构
1DCNN模型采用卷积㊁激活㊁池化交替提取特征,卷积运算公式:
yl(i,j)=kli∗x
l(rj)=ðW-1
jᶄ=0kl(jᶄ)ixl(j+jᶄ)(1)
其中:kl(jᶄ)i为第l层的第i个卷积核的第jᶄ个权值;xl(rj)为第l层中第j个被卷积的局部区域;W为卷积核宽度㊂卷积层激活函数为ReLU函数,并采用最大池化㊂使用全连接层将提取的特征进行融合,最后实现二分类输出㊂
神经网络参数设置没有统一的依据,本研究以实践结合经验的方法来设定模型参数㊂卷积层卷积核大小均为1ˑ4,卷积核个数分别为50㊁60和50,每个卷积层激活函数均为ReLU函数;池化层池化窗口大小为1ˑ4;加入两个dropout层(参数均为0.2)防止
09㊃计算机应用研究2020年㊀
过拟合;最后全连接层神经元个数为2,并用sigmoid激活函数实现
二分类㊂学习率设为0.001,迭代次数为80,batch_size设置为200㊂采用MAE(meanabsoluteerror)损失函数和RMSprop优化算法㊂
2 2㊀XGBoost分类模型
XGBoost[17]算法是一种boosting类型的集成方法,由一系列CART作为基分类器构成,相比传统的GBDT算法,XGBoost对代价函数进行了二阶泰勒展开,并加入了正则项㊁支持列抽样和缺失值处理,支持利用多线程并行计算,极大地提升了训练速度和预测精度㊂
XGBoost算法预测模型为
^y
i=ðK
k=1fk(xi)(2)
其中:K为树的个数;fk(xi)表示第k棵树;^y
i表示样本xi的预测结果㊂
模型的目标函数由损失函数和正则项两部分组成:Obj(θ)=ðn
i=1
l(yi,^y(t)i)+ðt
i=1
Ω(fi
)(3)
XGBoost模型的训练过程不是直接优化整个目标函数,而是采用加法分步的策略,首先优化第一棵树,完了之后再优化第二棵树,每加入一棵树,其损失函数不断降低,直至优化完K棵树㊂
另一方面,超参数的取值对分类模型性能有较大的影响,为了得到较好的分类结果,本文结合贝叶斯算法[18]进行超参数调优㊂贝叶斯优化通过基于目标函数的过去评估结果建立概率模型,在尝试下一
组超参数时,会参考上一次的评估结果,到优化目标函数的值,从而更好地调整当前的参数㊂
3㊀实验与分析
为充分体现本文方法的应用效果,在实验中分别建立了1DCNN㊁XGBoost和1DCNN⁃XGBoost模型相互进行比较,采用准确率(accuracy)㊁召回率(recall)和F1值(F1⁃score)作为模型的评估指标,检验分类模型的分类效果㊂
accuracy=
TPTP+FP(4)recall=
TP
TP+FN(5)F1=
2ˑrecallˑaccuracyrecall+accuracy(6)
其中:TP表示实际为发作期脑电,并且被正确分类为发作期脑电;FP表示实际为正常脑电,被预测为发作期脑电;FN表示实际为发作期脑电,被预测为正常脑电㊂
实验中首先将每个癫痫脑电信号样本均分为16份,获得较为充足的样本数量,每个样本持续时长为1.475s,并对每个样本进行标准化处理,然后进行后续实验,标准化公式为yi=
xi- x
计算机学院排名
(7)
其中: x为原始数据的均值;s为标准差㊂
3 1㊀1DCNN模型
1DCNN模型具体结构如表1所示㊂模型损失函数曲线和准确率曲线如图4和5所示,可以看出模型损失函数和准确率曲线波动较小,测试集准确率略低于训练集,损失函数略高于训练集,模型未发生过拟合㊂
表1㊀1DCNN模型结构
网络层对应层输出对应层参数网络层对应层输出对应层参数输入层(none,256,1)0池化层(none,15,60)0卷积层(none,253,50)250dropout(none,15,60)0池化层(none,63,50)0卷积层
(none,12,50)12050dropout
(none,63,50)
全局池化层(none,50)0
卷积层(none,60,60)12060
全连接(none,1)
51图4㊀1DCNN模型准确率曲线㊀㊀㊀图5㊀1DCNN模型损失函数曲线
3 2㊀XGBoost模型
建立XGBoost模型作为对比,实验以贝叶斯优化算法结合5折交叉验证对主要参数进行优化,得到决策树深度为6,决策树个数为240,叶节点的最小权重为0.5076,学习率为0.0442,最小损失
分裂值为0.1018,l1正则化系数为1,l2正则化系数为0.4498,其
余采用默认值㊂然后以最优参数建立分类模型㊂模型损失函数曲线和准确率曲线如图6和7所示㊂由图可知训练集和测试集性能指标相差较大,表明了XGBoost算法在不进行特征提取时无法自动提取特征,分类效果较差
图6㊀XGBoost模型准确率曲线㊀㊀图7㊀XGBoost模型损失函数曲线
3 3㊀1DCNN⁃XGBoost模型
1DCNN⁃XGBoost模型以1DCNN模型为基础,首先进行1DCNN
模型训练,保存训练好的模型,然后以训练好的模型作为特征提取器提取特征,作为XGBoost输入㊂同样对于XGBoost算法进行参数调优,得到决策树深度为6,决策树个数为300,叶节点的最小权重为0.4738,学习率为0.0245,最小损失分裂值为0.9227,l1正则化系数为0.4324,l2正则化系数为0.2112,其余采用默认值㊂然后使用最优参数建立1DCNN⁃XGBoost分类模型㊂模型损失函数曲线和准确率曲线如图8和9所示,对比前两种模型性能曲线,显然两者结合的算法拟合性能更好,模型更稳定㊂
图8㊀1DCNN⁃XGBoost模型准确率曲线图9㊀1DCNN⁃XGBoost模型损失函数曲线
3 4㊀实验结果分析
为了讨论1DCNN⁃XGBoost混合模型的分类效果,以75%样本或特征作为训练集,25%为测试集分别建立1DCNN㊁XGBoost和1DCNN⁃XGBoost模型,重复进行10次实验,取其均值,具体结果如表2所示㊂可以看出,本文模型相较于单纯的1DCNN和XGBoost模型,各项指标均有明显提升,准确率分别提高了1.08%和4 14%,召回率分别提高了1.5%和4.76%,F1值分别提高了1 09%和4.1%,相比于较高的分类准确率而言,其性能有了很大提升㊂实验结果不仅充分说明了1DCNN算法在癫痫脑电信号的特征提取和分类研究中具很高的潜
在应用价值,更证明了1DCNN⁃XGBoost混合模型能充分发挥1DCNN和XGBoost算法各自的性能,其效果优于单个的1DCNN和XGBoost模型,能自动提取特征,并且具有更好的准确率和稳定性㊂
表2㊀分类结果对比
/%
模型accuracyrecallF1⁃score1DCNN
97.75
97.07
97.75XGBoost94.6993.8194.74
1DCNN⁃XGBoost98.8398.5798.84
㊀㊀另一方面,本文方法使用原始样本进行简单的标准化处理后直接提取特征,且每个样本持续时长为1.475s,持续时间短,使癫痫脑电信号分类系统不仅具有泛化能力,而且更具有临床意义㊂4㊀结束语
癫痫脑电分类研究中,快速准确的分析至关重要,本研究针对单通道癫痫脑电分类问题,提出一种1DCNN结合XGBoost算法的分类模型,来提高癫痫脑电自动分类的准确率和稳定性㊂首先,将原始脑电信号进行标准化处理后训练1DCNN模型,保存训练好的模型;然后,以训练好的1DCNN模型提取特征;最后,结合XGBoost算法进行分类,并结合贝叶斯优化算法进行超参数寻优㊂实验结果表明,采用1DCNN可以很好地挖掘脑电数据信息,并在网络内部对特征进行提取和优化,自适应提取特征,更具有普适性和泛化性能;1DCNN⁃XGBoost模型相比于1DCNN和XGBoost模型各项性能均有明显提高,说明混合模型具有很好的分类性能,为癫痫脑电信号自动分类研究提供了新的思路,对癫痫疾病的(下转第94页)
㊃19㊃㊀第37卷增刊柯㊀铭,等:基于1DCNN⁃XGBoost混合模型的癫痫脑电分类
㊀㊀㊀
4 结束语
本文详细分析了多源地震灾情信息的特点,在此基础上建立了基于区间证据理论的地震多源灾情信息融合及烈度判定模型,并以芦山地震为例,利用基于证据相似性的区间证据融合理论,实现了基于地震灾情快速上报接收处理系统接收的多源灾情信息融合及地震烈度判定㊂实验结果与中国地震局公布的烈度圈分布具有一致性㊂说明了利用区间证据理论模型处理多源地震灾情信息方法的有效性㊂同时实验结果
表明,判定结果仍然存在一定误差,其主要原因可能是灾情上报人员上报的地震灾情信息具有快速㊁及时的特点,但仍存在一定的主观性,可能导致局部整体偏高或整体偏低㊂未来可以结合遥感影像解译的灾情信息,进一步综合评定地震烈度㊂
参考文献:
[1]聂高众,安基文,邓砚.地震应急灾情服务进展[J].地震地质,2012,34(4):782⁃791.
[2]胡素平,帅向华.网络地震灾情信息智能处理模型与地震烈度判定方法研究[J].震灾防御技术,2012,7(4):420⁃430.
[3]王德才,倪四道,李俊.地震烈度快速评估研究现状与分析[J].地球物理学进展,2013,28(4):1772⁃1784.
[4]林淋,孙景江,廖洁,等.地震动参数与地震烈度的多元回归研究[J].地震工程与工程振动,2011,31(3):33⁃38.
[5]陈达生,刘汉兴.地震烈度椭圆衰减关系[J].华北地震科学,1989(3):31⁃42.
[6]汪素云,俞言祥,高阿甲,等.中国分区地震动衰减关系的确定[J].中国地震,2000(2):5⁃12.
[7]薄涛,李小军,陈苏,等.基于社交媒体数据的地震烈度快速评估方法[J].地震工程与工程振动,2018,38(5):206⁃215.
[8]卢永坤,张建国,宋立军,等.2014年云南鲁甸6.5级地震烈度分布与房屋震害特征[J].地震研究,2014,37(4):549⁃557,669.[9]王红蕾,WalterDMooney.芦山Mw6.6级地震烈度调查及北美震例对比分析[J].地震工程与工程振动,2014,34(S1):108⁃117.[10]常想徳,陈建波,阿里木江㊃亚力昆,等.2016年新疆阿克陶M_S6.7地震烈度及探讨[J].内陆地震,2017,31(2):167⁃77.
[11]罗炬,陈建波,常想德,等.2016年12月8日新疆呼图壁M_S6.2地震烈度分布初探[J].震灾防御技术,2017,12(1):24⁃30.[12]陈维锋,郭红梅,张翼,等.四川省地震灾情快速上报接收处理系统[J].灾害学,2014,29(2):116⁃22.
[13]刘军,宋立军,兰陵,等.基于Android平台的灾情速报系统在于田7.3级地震中的应用[J].震灾防御技术,2014,9(4):915⁃920.[14]明小娜,周洋,卢永坤.云南地震灾情速报系统设计探讨[J].华北地震科学,2015,33(4):62⁃65.
[15]曹彦波,吴艳梅,许瑞杰,等.基于微博舆情数据的震后有感范围
提取研究[J].地震研究,2017,40(2):303⁃310.
[16]王琛,章熙海,肖飞,等.基于12322平台的江苏省地震应急灾情速报系统的设计与应用[J].震灾防御技术,2018,13(2):471⁃479.[17]WaldDJ,QuitorianoV,HeatonTH,etal.TriNet ShakeMaps :rapidgenerationofpeakgroundmotionandintensitymapsforearthquakesinSouthernCalifornia[J].EarthquakeSpectra,1999,15(3):537⁃555.[18]王晓青,王龙,王岩,等.汶川8.0级大地震应急遥感震害评估研究[J].震灾防御技术,2008(3):251⁃258.
[19]王晓青,魏成阶,苗崇刚,等.震害遥感快速提取研究  以2003年2月24日巴楚 伽师6.8级地震为例[J].地学前缘,2003(S1):285⁃291.
[20]王晓青,窦爱霞,孙国清,等.基于综合震害指数的玉树地震烈度遥感评估研究[J].地震,2013,33(2):1⁃10.
[21]窦爱霞,王晓青,丁香,等.遥感震害快速定量评估方法及其在玉树地震中的应用[J].灾害学,2012,27(3):75⁃80.
[22]王晓青,窦爱霞,王龙,等.2013年四川芦山7.0级地震烈度遥感评估[J].地球物理学报,2015,58(1):163⁃71.
[23]王晓青,窦爱霞,丁香,等.地震烈度应急遥感评估研究与应用进展[J].地球信息科学学报,2015,17(12):1536⁃1544.
[24]关欣,孙贵东,郭强,等.基于区间数和证据理论的雷达辐射源参数识别[J].系统工程与电子技术,2014,36(7):1269⁃1274.[25]周剑,马晨昊,刘林峰,等.基于区间证据理论的多传感器数据融合水质判断方法[J].通信学报,2016,37(9):20⁃29.
[26]方新,靳留乾,蹇明.基于区间D⁃S证据理论的物流中心选址模型[J].计算机应用研究,2015,32(12):3600⁃3604.
[27]付艳华.基于证据推理的不确定多属性决策方法研究[D].沈阳:东北大学,2010.
[28]中国地震烈度表(GB/T17742 2008)[S].北京:地震出版社,2008.
[29]DenoeuxT.Reasoningwithimprecisebeliefstructures[J].Interna⁃tionalJournalofApproximateReasoning,1999,20(1):79⁃111.[30]DenT,OeligUX.Mod
elingvaguebeliefsusingfuzzy⁃valuedbeliefstructures[J].FuzzySetsandSystems,2000,116(2):167⁃199.[31]WangYingming,YangJianbo,XuDongling,etal.Onthecombinationandnormalizationofinterval⁃valuedbeliefstructures[J].InformationSciencesAnInternationalJournal,2007,177(5):1230⁃1247.[32]ZadehL.Reviewofmathematicaltheoryofevidence,byGlennShafer[J].AIMagazine,1984,5(3):81⁃83.
[33]冯海山,徐晓滨,文成林.基于证据相似性度量的冲突性区间证据融合方法[J].电子与信息学报,2012,34(4):851⁃857.
[34]李娅,邓鑫洋,邓勇.一种新的区间直觉模糊集决策方法:区间证据组合的角度[J].控制与决策,2014,29(6):1143⁃1147.
(上接第91页)
诊疗具有较强的指导意义㊂
参考文献:
[1]王海玉,胡剑锋,王映龙.脑电信号处理方法的研究综述[J].计算机时代,2018(1):13⁃15.
[2]ZhangTao,ChenWanzhong,LiMingyang.ARbasedquadraticfeatureextractionintheVMDdomainfortheautomatedseizuredetectionofEEGusingrandomforestclassifier[J].BiomedicalSignalProces⁃singandControl,2017,31:550⁃559.
[3]MatinA,BhuiyanRA,ShafiSR,etal.AhybridschemeusingPCAandICAbasedstatisticalfeatureforepilepticseizurerecognitionfromEEGsignal[C]//Procofthe8thJointInternationalConferenceonIn⁃formatics,Electronics&Visionandthe3rdInternationalConferenceonImaging,Vision&PatternRecognition.2019:301⁃306.
[4]LiShufang,ZhouWeidong,YuanQi,etal.Featuree
xtractionandre⁃cognitionofictalEEGusingEMDandSVM[J].ComputersinBiolo⁃gyandMedicine,2013,43(7):807⁃816.
[5]孔祥浩,马琳,薄洪健,等.CNN与CSP相结合的脑电特征提取与识别方法研究[J].信号处理,2018,34(2):164⁃173.
[6]WangYong.Classificationofepilepticelectroencephalogramssignalsusingcombiningwaveletanalysisandsupportvectormachine[J].JournalofMedicalImaging&HealthInformatics,2018,8(1):62⁃65.
[7]张健钊,姜威,贲晛烨.基于样本熵与小波包能量特征提取和RealAdaBoost算法的正常期㊁癫痫间歇与发作期的脑电自动检测[J].生物医学工程学杂志,2016,33(6):1031⁃1038.
[8]AlickovicE,KevricJ,SubasiA.Performanceevaluationofempiricalmodedecomposition,discretewavelettransform,andwaveletpackeddecompositionf
orautomatedepilepticseizuredetectionandprediction[J].BiomedicalSignalProcessing&Control,2018,39(1):94⁃
102.
[9]林栋,黄晓真,庄婉玉,等.基于近似熵及关联维度对浅针疗法干预失眠患者脑电数据的提取及分析[J].针刺研究,2018,43(3):180⁃184.
[10]赵利民,朱晓军.基于局部均值分解与样本熵的脑电信号特征提取与分类[J].计算机工程,2017,43(2):299⁃303.
[11]YuanQi,ZhouWeidong,LiShufang,etal.EpilepticEEGclassifica⁃tionbasedonextremelearningmachineandnonlinearfeatures[J].EpilepsyResearch,2011,96(1⁃2):29⁃38.
[12]SriraamN,RaghuS.Classificationoffocalandnonfocalepilepticsei⁃zuresusingmulti⁃featuresan
dSVMclassifier[J].JournalofMedicalSystems,2017,41(10):160.
[13]MurugavelASM,RamakrishnanS.Hierarchicalmulti⁃classSVMwithELMkernelforepilepticEEGsignalclassification[J].Medical&BiologicalEngineering&Computing,2016,54(1):149⁃161.[14]宋玉龙,赵冕,郑威.基于经验模态分解和极限学习机的癫痫脑电提取分类研究[J].生物医学工程研究,2019,38(3):263⁃268.[15]AndrzejakRG,LehnertzK,MormannF,etal.Indicationsofnonlineardeterministicandfinite⁃dimensionalstructuresintimeseriesofbrainelectricalactivity:dependenceonrecordingregionandbrainstate[J].PhysicalReviewE,2001,64(6):061907.
[16]周飞燕,金林鹏,董军.卷积神经网络研究综述[J].计算机学报,2017,40(6):1229⁃1251.
[17]ChenTianqi,GuestrinC.XGBoost:ascalabletreeboostingsystem[C]//Procofthe22ndACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining.NewYork:ACMPress,2016:785⁃794.
[18]ShahriariB,SwerskyK,WangZiyu,etal.Takingthehumanoutoftheloop:areviewofBayesianoptimization[J].ProceedingsoftheIEEE,2016,104(1):148⁃175.
㊃49㊃计算机应用研究2020年㊀