第44卷 第6期系统工程与电子技术
Vol.44 No.6
2022年6月SystemsEngineering a
ndElectronicsJune2022
文章编号:1001 506X(2022)06 2019 08 网址:www.sy
s ele.com收稿日期:20210511;修回日期:20210917;网络优先出版日期:20211115。
网络优先出版地址:http
s:∥kns.cnki.net/kcms/detail/11.2422.TN.20211115.1620.006.html 通讯作者.未识别的网络
犚犲犳犲狉犲狀犮犲犳狅狉犿犪狋:QINBW,JIANGL,XUH,etal.Modulationrecognitionalg
orithmbasedonresidualgenerationadversarialnetwork[J].SystemsEngineeringa
ndElectronics,2022,44(6):2019 2026.基于残差生成对抗网络的调制识别算法
秦博伟 ,蒋 磊,许 华,齐子森
(空军工程大学信息与导航学院,陕西西安710077)
摘 要:针对小样本条件下通信信号识别准确率不高、
网络训练困难的问题,本文提出一种基于残差生成对抗网络的调制识别算法。首先,设计一种以Leakyrelu作为隐藏层激活函数的新残差单元,使得网络对输入为负值的数据也可以进行梯度计算;然后,将新残差单元组成的残差网络和卷积神经网络作为本文算法的基本网络结构,使用卷积步幅为1的非对称小卷积核,更好地提取信号的边缘特征信息;最后,用Dropout代替池化操作,并选择Adam梯度优化算法以交替迭代方式完成网络训练。仿真实验结果表明,小样本条件下,
残差生成对抗网络算法复杂度明显降低,信噪比(signaltonoiseratio,SNR)在0dB以上时,对10种调制信号的识别准确率可以达到91%,
验证了所提方法的有效性。关键词:残差网络;生成式对抗网络;调制识别;小样本
中图分类号:TB975 文献标志码:A 犇犗犐:10.12305/j.
issn.1001 506X.2022.06.30犕狅犱狌犾犪狋犻狅狀狉犲犮狅犵狀犻狋犻狅狀犪犾犵
狅狉犻狋犺犿犫犪狊犲犱狅狀狉犲狊犻犱狌犪犾犵犲狀犲狉犪狋犻狅狀犪犱狏犲狉狊犪狉犻犪犾狀犲狋狑狅狉犽
QINBowei ,JIANGLei,XUHua,QIZisen
(犐狀犳狅狉犿犪狋犻狅狀犪狀犱犖犪狏犻犵犪狋犻狅狀犆狅犾犾犲犵犲,犃犻狉犉狅狉犮犲犈狀犵犻狀犲犲狉犻狀犵犝狀犻狏犲狉狊犻狋狔,犡犻’
犪狀710077,犆犺犻狀犪) 犃犫狊狋狉犪犮狋:Aimingattheproblemoflowaccuracyofcommunicationsignalrecognitionanddifficulttraining
ofnetworkinfew shotlearning,amodulationrecognitionalg
orithmbasedontheresidualgenerativeadversarialnetworkisproposed.Firstly,thisalgorithmdesignsanewresidualblockunitusingLeakyreluastheactivationfunctionofthehiddenlay
er,whichcanalsocalculatethegradientforthenegativeinputdata.Then,theresidualnetworkcomposedofthenewresidualunitsandtheconvolutionalneuralnetworkareusedasthebasic
networkstructureofthisproposedalg
orithm.Moreover,weapplytheasymmetricsmallconvolutionalkernelwithaconvolutionalstepof1tobetterextracttheedgefeatureinformationofthesignal.Finally,Dropoutisadoptedtoreplacethepoo
lingoperation,andAdamgradientoptimizationalgorithmisselectedtocompletethenetworktraininginanalternateiterationmode.Exp
erimentalresultsshowthatundertheconditionofafew shotlearning,t
herecognitionaccuracyoftheresidualgenerationadversarialnetworkalgorithmfor10modulatedsignalscanreach91%whenthesignaltonoiseratio(SNR)ishigherthan0dB,whichverifiestheeffectivenessoftheprop
osedmethod.犓犲狔狑狅
狉犱狊:residualnetwork(Resnet);generativeadversarialnetwork;modulationrecognition;few shotlearning
0 引 言通信信号的自动调制分类识别(automaticmodulationclassification,AMC)
是认知无线电系统的关键技术之一,在非协作通信系统条件下,接收端在信号调制信息未知的情况下能否快速准确地判别接收信号的调制样式,是后续
对信号进行解调的关键前提[1]。复杂电磁环境下,AMC技
术在战场侦察、信号参数估计和频谱监测等方面都发挥重
·2
020 ·系统工程与电子技术第44卷 要作用[2]。调制识别技术发展至今,无论是基于人工设计特征的传统方法还是基于深度学习的算法均已取得了丰硕的研究成
果。传统方法方面,文献[35]通过构造不同似然函数来实现信号的调制分类,文献[68]利用信号的循环谱特征来区分不同调制方式的信号,文献[911]利用信号的高阶累积量实现信号的调制方式识别。深度学习算法方面,文献[1214]分别利用卷积神经网络(convolutionneuralnetwork,CNN)和残差网络(residualnetwork,Resnet)完成
了对11种调制信号的分类识别,
并且使用监督学习思想建立调制信号端到端的识别模型。文献[15]将自编码器和
CNN结合,
实现对数据的降维处理,一定程度上降低了算法复杂度。FAN等人[16]提出了一种联合噪声估计的调制识别算法,该算法同时将原始信号数据和信噪比作为神经网络的输入,仿真结果表明这种算法在不同信噪比、不同频偏
下的识别准确率已经接近理论识别准确率的上限。Qi等
人[17]设计了一种多模特征匹配残差网络,大样本条件下对调制信号的识别准确率在10dB可以达到94%。文献[18]从数据生成的角度出发,首次将生成式对抗网络[19](gener
ativeadversarialnetworks,GAN)
应用于数据的分类识别。Bu等人[20]则将GAN引入到迁移学习中,利用GAN生成的虚假数据来训练网络,最后迁移到真实数据的调制样式
识别。
传统调制识别方法依赖人工设计特征、可识别的信号种类较少、网络泛化能力较弱;而基于深度学习的调制识别算法往往需要利用大量的标签数据来训练网络、算法复杂度较高。针对上述问题,本文提出一种基于残差GAN(ResidualGAN,Res GAN)的调制识别算法,首先生成网络学习不同分布域数据的特征信息,通过噪声生成高质量的虚假数据来扩充数据集;其次设计了一种由新残差单元组成的Resnet作为判别网络,有效提升了网络的特征提取能力,更好地区分相似信号。实验证明,本文提出的算法在小样本条件下识别准确率显著提升,模型收敛速度加快,算法复杂度明显降低。
1 犚犲狊 犌犃犖
1.1 网络模型设计
网络深度不仅决定了网络提取信号特征的复杂性,而且会影响模型整体性能,网络层的数量堆积可以丰富特征级别,层堆叠的方式可以获得信号高维特征空间的参量,但是由于深层网络反向传播时,层数堆积的累积效应会造成梯度消失或梯度爆炸,导致深层网络性能退化[21]。因此需要合理选择网络深度使模型的整体性能达到最佳。CNN可以对信息进行较为广泛的特征提取,而Resnet则被证实在信号的细微特征提取和改善网络梯度训练方面具有很好
的效果[22],因此本文算法的网络模型用CNN作为生成器(generator,G)网络,用新残差单元组成的Resnet作为判别器(discriminator,D)
网络。为了达到网络生成虚假数据并实现信号分类的目的,将网络输出层修改为两部分:判别数据的真假属性和类别属性。根据G、D网络间的逻辑关系,Res GAN结构如图1所示
。图1 Res GAN结构Fig.1 StructureofRes GANG输入为噪声、输出为虚假数据,D输入为无标签数据、
有标签数据和虚假数据,输出为两部分:真假分类器判定虚假数据与无标签数据的相似度,类别分类器判定有标签数据的类别属性。通过D的输出结果分别训练G和D,当训练一方时,固定另一方的参数和网络权值,从而实现两者之间对抗训练、
互相提高的目的。组成D网络的新残差单元结构如图2所示,利用Leakyrelu作为隐藏层激活函数并去除池化层,一方面较好地保留了初始信息量,另一方面在执行反向传播过程中对
输入小于零的部分也可以计算得到梯度(而不是像Re
LU一样值为0),更好地实现了网络参数和偏置项的最优化更新。L
eakyrelu表达式为Leakyrelu=狓,狓≥0-犪狓,狓<烅烄烆0(1)式中:狓表示神经网络某一层的输入数据;犪为(0,1)之间的一个常数
。图2 残差单元的网络结构
Fig.
2 Networkstructureofresidualunit狔犾=犎(狓犾)+犉(狓犾,犠犾)狓犾+1=犳(狔犾烅烄烆)(2)式中:狓犾代表神经网络第犾层的输入数据;狔犾代表第犾层的
输入数据;犎(·)代表直接映射;犉(·)代表残差部分;犳(·)代表激活函数;犠犾代表卷积操作。假设本文的Resnet存在犔个残差单元,则式(2)
变为狔犔=狓犾+∑犔-1
犻=1犉(狓犻,犠犻)狓犔+1=犳(
狔犔烅
烄烆)(3)式中:犻=1,2,…,犔-1。
第6期
秦博伟等:基于残差生成对抗网络的调制识别算法·2021 ·
根据梯度下降算法中使用导数的链式法则,损失函数ε关于狓犾的梯度可以表示为 ε
狓犾= ε 狓犔 狓犔 狓犾= ε 狓犔1+ 狓犾∑犔-1
犻=犾犉(狓犻,犠犻()
)= ε 狓犔+ ε 狓犔 狓犾∑犔-1
犻=犾犉(狓犻,犠犻)(4) 从式(4)中可以得出本文Resnet的两个属性:(1)在整个训练过程中 / 狓犾∑犔-1
犻=犾犉(狓犻,犠犻)不可能一直为-1,也就是说在本文Resnet训练中不会出现梯度消失的问题。
(2) ε/ 狓犔表示犔层的梯度可以直接传递到任何一个比其浅的犾层。1.2 损失函数本文所提的Res GAN算法采用交替迭代的训练方法。结合网络的输入输出结构和损失函数,将本文的目标函数修改为有监督学习和无监督学习两部分。监督学习使用标签数据(狓犻,狔犻)和多元交叉熵损失函数进行计算,无监督学习利用“无标签”数据(狓′犻,1)或(狓′犻,
0)(0代表虚假数据,1代表真实数据)和二元交叉熵损失函数进行计算。D网络
的输出层激活函数分别使用Sigmoid函数和Softmax函数。假设网络模型的输入数据为狓,Sigmo
id函数输出一个0~1之间的数,越接近于1代表判别结果越接近于真实数据,越接近于0代表判
别结果越接近于虚假数据,Softmax函数输
出一个犓维向量[犾1,犾2,犾3…,犾犓],转化成概率为狆model(狔=犼狘狓)=exp(犾犼)∑犓犽=1
exp(犾犽),犼=1,2,…,犓(5) 为了简化算法复杂度,将输出向量扩展为犓+1维向量,
第犓+1维向量用来判定无标签数据的训练情况,由于只需要判定数据的真假性,因此第犓+1维向量可以被判定为前犓个向量中的任意一个类别,这样本文的损失函数表达如下所示:
犔loss=犔supervised+犔unsupervised犔supervised=-犈狓,狔∈狆data
(狓,狔)(犾)犔unsupervised=-犈狓∈狆data
(狓)(犿)-犈狓∈犌(狀)犾=log2(犇′(狔|狓,狔<犓+1)
)犿=log2(1-犇′(狔=犓+1|狓))狀=log2(犇′(狔=犓+1|狓烅烄烆
))(6)式中:犔supervised和犔unsupervised分别代表监督学习下的损失函数和
无监督学习下的损失函数;犇′代表残差判别器映射的可微函
数;犈是求期望,犾表示标签数据被判定为第犼维向量(犼=1,2,…,犓);犿表示无标签数据被判定为第犓+1维向量;狀表示生成的虚假数据被判定真实数据。目标函数为最小化犔loss,假设输入数据狓服从狓~c(狓)分布,则目标函数为min犔loss=
min[exp(犾犼(
狓))+exp(犾犓+1(狓))]=c(狓)狆(狔=犼,狓)( 犼<犓+1)+c(狓)狆犌(
狓)(7)式中:c(狓)
意为信号狓总是服从于同一种分布。2 基于犚犲狊 犌犃犖的调制识别算法2.1 网络参数设置考虑到本文设定的小样本条件,参照文献[13]对于网
络层数的选择标准,本文通过大量对比实验得出G网络选择3层卷积结构,D网络选择4个残差单元,残差单元选择3层卷积结构时网络的性能最好。图3和图4分别为残差
单元和G、D网络的结构参数图。图4中,zeropadding(·)为零填充
。图3 残差单元的结构参数Fig.3 Structureparametersofresidualuni
t图4 G、D网络的结构参数Fig.4 StructureparametersofGandDnetworks2.2 算法实现基于Res GAN的调制识别算法实现分为训练和测试两个阶段,训练阶段G和D交替训练,最终网络的收敛结果为G生成的虚假数据与真实数据相似度最高,D则可以
准确地分辨出信号的调制样式。测试阶段则是为了进一步检验网络的性能。Res GAN算法的具体步骤如下所示。
·2
022 ·系统工程与电子技术
第44卷
算法1 Res GAN算法
输入 噪声、
调制信号数据集。输出 生成数据的真假概率、分成各个类别概率。
1. 初始化2. 设置Adam,epoch,Dropout2.1 利用服从同一分布的噪声信息生成犔个100维的噪声向量{狕1,狕2,…,狕犿}2.2 将噪声向量通过G生成犔个无标签虚假样本{狓1,狓2,…,狓犿}2.3 将步骤2.2中犔个无标签虚假样本分别送入G网络和残差判别网络中执行梯度下降训练2.4 设置终止条件2.5 保存训练好的G网络和残差判别网络结构参数和网络权重2.6 读取犿个带标签真实数据,通过G网络生成等量的虚假样本
2.7 将2犿个带标签数据送入G网络和残差判别网络中,导入步骤2.5中保存的网络继续执行梯度下降训练2.8 设置终止条件2.9 保存网络模型和权重3. 输出训练分类结果4. 读取狇个带标签数据作为测试数据5. 读取步骤2中保存的网络模型,进行网络测试,输出测试结果残差单元和G、D网络分别去除了批量归一化层和池化层,添加零填充层并且采用步幅为1的非对称递减小卷积核,
这样选择的理论依据如下:(1)
去除批量归一化层和池化层可以最大限度地保留信号的原始信息。
(2)
添加零填充层可以增大感受野范围,步幅为1的非对称卷积有助于提取边缘特征信息。(3)
递减小卷积核可以提取信号的不同层次特征,明显减少网络参数和降低算法复杂度。
3 实验仿真与结果分析
3.1 仿真环境及数据集
本文的网络模型训练均使用Python的Keras环境,配置为NvidiaGTX1650GPU,借助Tensorflow后端进行训练,调制信号数据集采用Deepsig公开调制识别数据集[14]
RML2016.10b,
表1为本文采用的数据集信息。调制样式选择10种常见的模拟调制和数字调制样式,分别为二进制
相移键控(binaryphaseshiftkeying,BPSK)、四进制相移键控(quadraturephaseshiftkeying,QPSK)、八进制相移键控(8phaseshiftkeying,8PSK)
、高斯频移键控(Gaussianfre quencyshiftkeying,GFSK)
、连续相位频移键控(continuousphasefrequencyshiftkeying,CPFSK)、四连续脉冲振幅调制(4 levelpulseamplitudemodulation,PAM4)、16种符号正交振幅调制(16quadratureamplitudemodulation,QAM16)、64种符号正交振幅调制(64quadratureamplitudemodula tion,QAM64),双边带调幅(amplitudemodulationdoublesideband,AM DSB)和宽带调频(widebandfrequencymodulation,WBFW)。每种调制样式采样128个点并选择I/Q两路信号,每2dB为一个信噪比区间。表1 调制信号数据集犜犪犫犾犲1 犕狅犱狌犾犪狋犻狅狀狊犻犵狀犪犾犱犪狋犪狊犲狋参数数值调制样式8PSK,AM DSB,BPSK,GFSKCPFSK,PAM4,QAM16,QAM64,QPSK,WBFM
样本维度(2,128)样本数量86400
信噪比-4~18dB(每2dB一个间隔)3.2 实验一:网络初始参数设置根据3通道原则,将数据维度由(2,128)增加为(2,128,1),因为数据集信号已经进行归一化,所以直接利用服从(0,1)高斯分布噪声进行拟合数据,训练轮数设置为90个epoch。本文通过大量实验对比了网络层数、不同的梯度优化算法和隐藏层激活函数对网络性能的影响。网络层数方
面,用狀代表残差单元的卷积层个数,用犖代表D网络残
差单元的个数,分别对比狀和犖不同取值下的网络性能,实验结果如图5所示。图5 不同网络层数结果对比Fig.5 Comparisonofdifferentnetworklay
ersresults从图5中可以得出残差单元为3层卷积结构、D网络
选取4个残差单元可以最大限度实现网络模型的最优化。为证明本文选择的梯度下降算法的优势,对比随机梯度下降(stochasticgradientdescent,SGD)算法、动量梯度下降(momentumgradientdescent,Momentum)算法、微分加权平均(rootmeansquareprop,RMSProp)算法和自适应估计(adap
tivemomentestimation,Adam)算法。不同梯度优化算法结果对比图如6所示。
第6期
秦博伟等:基于残差生成对抗网络的调制识别算法
·2023
·
图6 不同梯度优化算法结果对比
Fig.6 Comparisonofdifferentgradientoptimizationalg
orithmsresultsAdam梯度优化算法相比较于其他3种算法,
低信噪比下收敛速度较快、
高信噪比下稳定性强,算法适应性好。具体原因为Adam优化算法采用一阶矩和二阶矩分别对加权
后的梯度进行误差校正。同时由于网络测试时使用的样本数量较少,因此曲线会呈现非单调的波动趋
势。当改变Adam学习率的默认设置时,发现网络无法训练,所以Adam学习率设置为默认值0.0002。结合Leakyrelu表达式,分别对比犪取不同数值和不同激活函数下的网络性能,实验结果如图7和图8所示。图7 Leakyrelu不同参数下的结果Fig.7 Leakyreluresultsunderdifferentparameters图8 不同激活函数结果对比Fig.
8 Comparisonofdifferentactivationfunctionsresults结合图7和图8结果,Leakyrelu中参数值犪取0.25时网络性能最好,相比较另外两种激活函数收敛更快,识别
准确率提升2%~4%。除此之外,在基于Adam优化算法
的前提下还通过大量实验对比了不同Batch size、Dropout和Adam参数设置下的网络性能,部分实验结果如表2所示。
表2 不同参数下的网络性能对比犜犪犫犾犲2 犆狅犿狆犪狉犻狊狅狀狅犳狀犲狋狑狅狉犽狆犲狉犳狅狉犿犪狀犮犲狌狀犱犲狉
犱犻犳犳犲狉犲狀狋狆犪狉犪犿犲狋犲狉狊
参数
批次3264128256512
第一衰减率0.40.50.60.50.4Drop
out0.30.050.150.30.2识别准确率0.9180.9800.9520.9340.928
综合上述实验结果,Res GAN算法选择Adam梯度优化算法(学习率设置为0.0002,第一指数衰减率设置为
0.5),激活函数选择Leakyrelu(犪=0.25),Dropout设置为0.05,Batch size设置为64。对比实验结果,发现不同的初始化参数对模型性能还是有一定影响(准确率浮动范围为
3%~5%)。由此得出通过实验优选网络模型的初始化参
数集合是必要的。
3.3 实验二:
调制信号分类识别按照实验一的网络参数初始值设定和表1的具体算法步骤,将(-4~18dB)信噪比下的每种信号分别随机选取660,1800,3600,7200,15000,30000,60000个标签数据(犿取值),犔取86400,狇取5
00,将选取后的数据按照8∶1∶1比例划分为训练集、验证集和测试集进行。选取模型最优
化的结果,图9为损失函数曲线,图10为网络测试后的混淆矩阵结果。Res GAN算法训练阶段先训练D网络,从图9(a)可以看出损失函数曲线总体保持平稳下降趋势,在60个epoch以后验证集已经达到收敛状态。D网络训练结束后将参数固定,接着训练G网络,由图9(b)的损失函数曲线看出验证集和训练集拟合程度较高,网络训练没有出现过拟合问题。
发布评论