2020年第39卷第12期传感器与微系统（Transducer and Microsystem Technologies)103
张旭欣，金婕
(上海工程技术大学电子电气工程学院，上海201600)
摘要：提出一种基于量化神经网络的端到端车牌检测与识别系统，实现了车牌快速端到端的检测与识
别。实验结果表明：所提出的网络可以有效地应用于车牌检测与识别，实现了最高99. 2 %的识别准确率
与76 FPS的识别速度。相比浮点卷积神经网络参数量降低约32倍。
关键词：端到端车牌检测与识别；卷积神经网络；量化神经网络
中图分类号：TP183; TP212 文献标识码：A 文章编号：1000-9787(2020) 12~0103~03
End-to-end license plate detection and recognition
system based on quantized neural network*
ZHANG Xuxin, JIN Jie
(College of Electronic and Electrical Engineering, Shanghai University of Engineering Science,
Shanghai 201600,China)
Abstract: An end-to-end license plate detection and recognition system based on quantitative neural network is
proposed, rapid end-to-end detection and recognition of license plates is realized. Experimental results show that
the proposed network can be effectively applied to license plate detection and recognition, the maximum recognition
accuracy of 99. 2 % and recognition speed of 76 FPS are achieved. Compared with floating-point convolutional
neural network (CNN) ,the parameter amount is reduced by about 32 times.
Keywords：end-to-end license plate detection and recognition；convolutional neural network (CNN) ；quantized
neural network
〇引言
车牌检测与识别广泛应用于交通管理系统中，例如停 车管理、违章检测等方面。近年来，深度学习在计算机视觉 领域取得了显著的成效，相关研究将卷积神经网络（。〇1^〇-lulional neural neUvork，CNN)应用至I J车牌检测与识别中，并 且取得了较大的进展。
尽管相较于传统方法U’2]，基于深度学习的车牌识别 的应用[3<；在准确度以及鲁棒性上取得了较大的进步，然 而大多数基于深度学习的方法对计算资源有较高需求。一 方面上述方法分离了车牌的检测与识别过程，由于检测和 识别过程重复提取车牌特征，因此上述方法会导致较大的 效率损失。同时 Faster R-CNN(region with CNN features)1^表明联合优化检测和识别过程会提高网络性能和准确度。另一方面，通常使用单精度浮点运算的CNN，而浮点CNN 具有极高的计算密集度和网络复杂度。而文献[6]证明了 CNN过度冗余，并且提出了一种二值化的CNN，以较小的 准确度损失代价，实现参数量和运算量的大幅降低。文献[7]提出了一种权重和激活可配置的量化神经网络，实 现了相比于二值化CNN更高的准确度，以及更加灵活的资 源利用率。基于上述研究，本文提出了基于量化神经网络 的
端到端车牌检测与识别系统设计。设计端到端的车牌检 测与识別CNN模型，对车牌检测与识别进行联合优化；验 证了低精度量化网络用于车牌检测与识别的有效性；研究 了不同量化位宽权重与激活下的准确度与网络参数量。
1量化CNN
量化CNN在前向传播过程中对权重以及激活值进行 低精度量化，而在反向传播过程中采用全精度或者较高精 度量化的梯度值。
对于实数G e [0，1]将其量化为/c bil过程为
r… =^3jround(2A -1)^ (1)
将输人6 e [0，1]的权重进行量化为
r。=2?画_(2眶^^(1,)丨）)―1⑵
收稿日期:2020-06-22
*基金项目：国家自然科学基金资助项目（61701295,61801286)
104传感器与微系统第39卷
式中tanhOJ在量化前^约束到[-1,1]，再由ta n h k)/ 2max(丨tanh(q)丨）映射到[0，1]区间，由guanfize;.将其量化到范围在[〇，1]上的A bit定点数，最终变换到[_1，1]区间。
假设前一层输出已经使用边界函数约束到的ri e [0, 1]，激活值的量化可表示为
rc—quantize k(r)(3)
反向传播过程采用直通估计（straight through estima-licm，STE)方法，本文采用32 b il精度浮点梯度值进行反向传播。
2车牌识别系统设计
2.1模型设计
由于先前的研究将车牌检测与识别过程分离，会导致 车牌特征被重复提取从而产生冗余地计算，降低识别效率, 因此，在本文将车牌检测与识别网络进行特征共享，同时联 合优化。车牌检测与识别模型设计如图1所示。
图1车牌联合检测与识别模型
输人的车牌图片经过骨干网络进行特征提取，产生大 小为输人图片1/4大小的特征图。将骨干网络提取的特征 图输人到车牌检测网络进行车牌定位，从而获取车牌边框坐 标，随后使用车牌边框坐标从骨干网络的输出特征图中提取 感兴趣区域(region of interest,R0I)，并采用R0I池化将目标 区域池化到固定宽高(16,8)以输人到车牌识别网络，从而实 现车牌的端到端检测与识别。在此过程中，车牌检测网络与 车牌识别网络共享了骨干网络提取的特征图，相比于将车牌 检测与识别过程分离的传统方法，联合车牌检测与识别过程 有效地降低了运算量，提高了识别速度与效率。
2.2 车牌检测网络
车牌检测网络结构如表1所示。
表1车牌检测网络结构信息
名称输入卷积核输出
输人52 x52 xl28/52 x52 xl28
量化卷积52 x52 X128 3 x352 x52 xl28
最大池化52 x52 xl28 2 x226 x26 xl28
量化卷积26 x 26 x 128 3 x3 xl28 x25626 x26 x256
最大池化26 x26 x256 2 x212 xl2x256
童化卷积12 xl2 X256 3 x3 x256 x25612 xl2x256
最大池化12 xl2 X256 2 x2 6 x6 x256
F C92169216 x512512
FC512512 x44
在车牌检测网络中，对于运算量较大的卷积层使用量 化卷积网络提取特征，紧接着利用浮点全连接网络进行边框回归，实现预测原始输人的车牌边框：水平中心点，垂 直中心点&，目标宽度以及目标长度A。
检测网络损失采用均方误差损失，令s为预测边框，y 为真实边框，损失函数公式如下
L\〇c(s,y)X ⑷2.3 车牌识别网络
先前的研究提取车牌后，对车牌校正后，进行字符分 割，并逐个识别字符，这种方法既包含大量的计
算量又降低 了车牌识别的速度。因此，本文提出了一种更加简单而鲁 棒的识别网络，R0I池化将原始图片中车牌池化到固定大小 输人到全连接层，全连接层仍采用浮点运算输出类别概率。
中国车牌由7个字符构成，其中首字符为31个省份之 —(不含港澳台），第二个字符为24个英文字母之一（不含 1，0)，后5个字符为34个字母与数字当中的组合，因此，全 连接层包含225个输出，后接7个SoftMax层，每个SoftM ax 层表示对应字符的概率分布，且每个对应字符标签以独热 码编码，网络结构如表2所示。
表2车牌识别网络结构信息
名称输人卷积核输出
输入16 x8 xl28
/16 x8 xl28
F C1638416384 x512512
F C512512 x225225
分类损失采用交叉熵损失，每个车牌字符包含n cy(l矣#7)类，令？,（1矣k %)表示真实车牌标签，凡+(14彡…c;)表示车牌字符的预测值，识别损失可表示如下
^cu(9»P)=-X S(5) 2.4 车牌联合检测与识别
车牌联合检测与优化将检测网络与识别网络进行联合 优化，如图2所示。
共享卷积检测分支识别分支
图2车牌联合检测与识别网络结构
骨干网络结构如表3所示。
表3车牌检测网络结构信息
名称输人卷积核输出
输人416 x416 x3/416 x416 x3
量化卷积416 x416 x3 3 x3416 x416 x32
最大池化416 x416 x32 2 x2208 x208 x32
童化卷积208 x208 x32 3 x3208 x208 x64
量化卷积208 x208 x64 3 x3208 x208 xl28
最大池化208 x208 xl28 2 x2104 x104 x128
M化卷积104 x 104 x 128 3 x3104x104 x128
量化卷积104 x 104 x 128 3 x3104x104x128
最大池化104 x 104 x 128 2 x252 x52
xl28
第12期
张旭欣，等：基于量化神经网络的端到端车牌检测与识别系统105
骨干网络提取车牌特征后，由检测与识别分支共享，检 测网络进行边框回归，产生的边框信息供识别分支提取 ROI 特征。
联合优化损失如下
Lt 0{!i \(s ,y ,q ,p ) =Lloc (s ,y ) +Lch (q ,p )
(6)
3
实现 3. 1
数据准备本文数据集是基于CCPD 数据集，CCPD 数据集是当 前国内最大的公开车牌数据集，包含了约250 x l 〇3张无重 复且不同拍摄角度，不同背景以及不同环境亮度的真实场 景下的车牌。其中约200 X 103张为基础数据集，其余划分 为多个不同条件下具有挑战性的数据集，如极端亮度或雨 雪天气下的车牌图像。每张图片的分辨率为720(宽）x 1160(高）x 3(通道数）。每张车牌标签都包含车牌号，车 牌边框坐标，车牌面积占比等相关信息。这里将CCPD 基 础数据集按7:3划分为训练集与测试集。3.2 网络训练
本文基于Pyiorch 深度学习框架进行实验，训练过程如 下所述：
1) 冻结车牌检测网络参数，在R 0I 池化过程中使用标
签提供的车牌边框信息提取R 0I 训练车牌识别网络，车牌
检测网络均方误差损失不参与反向传播，训练完成后，保存 网络参数。
2)
将训练好的车牌识别网络参数加载进网络，冻结车 牌识别网络参数，不进行参数更新，训练车牌检测网络，车
牌识别损失不参与反向传播。训练完成后，保存网络参数。
3) 使用车牌检测网络输出的边框信息提取R 0I 输人车
牌识别网络，对检测与识别网络使用联合损失进行优化。
4结果
相比于其他方法，如表4所示，本文所提出的网络在
32 bit 浮点精度下实现了较高的准确度与识别速度。
表4不同识别方法对比
方法
准确度/%识别速度/FPS TE 2E [3]
97.83RPnet [4]
98.561MTLPR [5]
97.264本文
99.276实验结果如图3所示，本文所提出的基于量化神经网
络的端到端车牌识别有效实现车牌的定位与识别。
如表5所示不同量化精度下的权重和激活位宽，基于
量化神经网络的模型相比于单精度浮点网络模型仍可达到 相接近的识别准确率。在速度上由于量化神经网络有量化 过程，因而速度相对于浮点运算的网络有所降低。然而基 于量化神经网络的参数量缩小了 32倍，从而具有能有效应 用于嵌人式设备的前景。同时通过调节激活值的位宽可以 在保持参数量
不变的情况下，提高识别准确率。
图3
车牌检测与识别结果
表
5
不同量化精度下权重和激活对比
权重激活准确率/%速度/FPS
参数量/Mbit 1 bit 2 bit 96.355
9.471 bit 3 bit 97.0549.4732 bit
32 bit
99.2
76
303.15
5
结束语
本文采用量化神经网络设计了车牌端到端检测与识别
系统，验证了量化神经网络在车牌检测与识别应用中的有 效性，为在低功耗的嵌人式平台实现车牌的高速，准确识别
提供了可能。量化神经网络由于灵活的可配置性，未来将
会得到进一步的探索和应用。
参考文献：
[1] 杨昌熙，张著洪.基于粒子优化的车牌识别算法研究[J]. 贵州大学学报（自然科学版），
2019,36(6) :42 —45.
[
2] 林乾毕.基于SVM 与ANN 神经网络的车牌识别系统[J ].软
件，2019,40(8):105-107.[3] XU Z.YANG W,MENG A ,et al. Towards end-to-end license plate detection and recognition ： A large dataset and baseline[ C]/^ Proceedings of the European Conference on Computer Vision (ECCV) ,2018：255 -271.[4] WANG W,YANG J,CHEN M,et al. A light CNN for end-to-end car license plates detection and recognition [ J ]. IEEE Access,
2019,7:173875 -173883.
[5] REN S,HE K,GIRSHICK R,et al. Faster R-CNN ：Towards real
time object detection with region proposal networks [ C] // Ad
vances in Neural Information Processing Systems,2015 ：91 —99.
[6] COURBARIAUX M,HUBARA I,S0UDRY D ,et al. Binarized
neural networks：Training deep neural networks with weights and
未识别的网络
activations constrained to + 1 or — 1 [ J J. arXiv preprint arXiv ： 1602.02830,2016.[7] ZHOU S, WU Y , NI Z , et al. Dorefa-net ： Training low bitwidth convolutional neural networks with low bitwidth gradients [ J ]. arXiv preprint arXiv ： 1606. 06160 ,2016.
作者简介：
张旭欣
（1995 _)，男，硕士，研究方向为深度神经网络，FPGA ， E-mail:****************。
金婕（1978 -），女，通讯作者，博士，副教授，主要研究领域 为视频编解码，数字信号处理和VLSI, E-mail:02140001 @ sues,
edu
〇
发布评论