第47卷第2期2021年2月
北京工业大学学报
JOURNAL OF BEIJING UNIVERSITY OF TECHNOLOGY
Vol.47No.2
Feb.2021
韩红桂，甄琪，任柯燕，伍小龙，杜永萍，乔俊飞
(北京工业大学信息学部，计算智能与智能系统北京市重点实验室，北京100124)
摘要：针对废旧手机回收过程中型号难以精确识别的问题，提岀一种基于李生卷积神经网络的废旧手机型号识别方法.首先，利用基于最大类间差分的边缘检测算法解析手机图像的区域特征，构建手机型号识别数据库；其次，构造一种共享权值孪生卷积网络(siamese convolutional neural network,S-CNN)的手机识别模型，实现废旧手机图像特征的快速提取；最后，设计一种自适应学习率的识别模型参数更新策略，提高
手机型号识别的精度.将其应用于不同场景下废旧手机的分拣，实验结果表明该方法具有较好的快速性和准确性.
关键词：孪生卷积神经网络；相似性评估；模型参数更新；手机型号识别；边缘检测；废旧手机回收
中图分类号：TP183文献标志码：A文章编号：0254-0037(2021)02-0112-08
doi：10.11936/bjutxb2019100016
Mobile Phone Model Recognition Method Based on Siamese
Convolutional Neural Network
HAN Honggui,ZHEN Qi,REN Keyan,WU Xiaolong,DU Yongping,QIAO Junfei (Beijing University of Technology,Faculty of Information Technology,Beijing Key Laboratory of Computational
Intelligence and Intelligent System,Beijing,100124,China)
Abstract:Mobile collection of waste electrical and electronic equipment(WEEE)is convenient for residents and companies.Aiming at the problem that the model is difficult to be accurately identified dur
ing the recycling process of used mobile phones，a method for identifying the model of used mobile phone was proposed in this paper based on convolutional neural network.First，the edge detection algorithm was used to construct the mobile phone model of feature database of identification area.
Second，a mobile phone recognition model of siamese convolutional neural network(S-CNN)was constructed to obtain the fast feature of used mobile phone images.Finally，an adaptive learning rate mobile phone recognition model parameter training method was designed to improve the accuracy of mobile phone model recognition.The method was applied to the sorting of used mobile phones in different scenarios.The experimental results show that the method has good speed and accuracy.
Key words：siamese convolutional neural network;similarity assessment;parameter training method;
mobile model recognition
随着智能手机行业的快速发展，产生了越来越浪费和环境污染，提高废旧手机的循环利用率，废旧多的废旧手机，为了减少废旧手机闲置造成的资源手机回收已成为我国电子信息产业发展中无法忽视
收稿日期：2019-10-25
基金项目：国家重点研发计划资助项目(2018YFC1900800-05)；国家自然科学基金资助项目(61890930-
5).
作者简介：韩红桂(1983—)，男，教授，主要从事固废资源化及污水处理过程建模、优化与控制方面的研究.E-mail：rechardhan@bjut.edu
第2期韩红桂，等：基于李生卷积神经网络的手机型号识别方法113
的重要问题［1-2］.然而，目前回收过程中分拣识别效率已成为限制回收的主要瓶颈.在废旧手机回收分拣过程中，需要将手机按品牌及型号分类处理以获得更大的经济效益［3］.因此，快速识别手机型号成为影响废旧手机回收效率的重要因素，目前普遍的废旧手机识别方法是通过人工方式辨认手机外观并确定型号，该过程极为烦琐和耗时，且长时间生产线工作易导致误操作，造成误检率较高.此外，较低的识别效率也难以满足回收大量废旧手机的需求.因此，设计一种快速准确识别手机型号的方法成为实现废旧手机高效自动化回收的关键，不仅可以极大提升手机回收效率，减小误检率，同时还能提升废旧手机回收企业经济效益.
为了提高废旧手机回收效率，废旧手机型号的快速识别成为实现工业自动化回收的重要保障⑷.目前，工业自动化回收过程的废旧手机型号识别方法主要是利用数理统计和支持向量机(support vector machine,SVM)等分类器提取废旧手机外观图像中的纹理、形状和颜等局部特征，并依据提取到的特征信息遍历整个图像进行对比，从而识别不同型号的废旧手机［5-8］.例如，Ye等⑼设计基于尺度不变
特征变换(scale invariant feature transform, SIFT)和SVM的组合识别方法，并将该方法应用于废旧手机回收分拣识别中.该方法通过提取手机标志、摄像头、指纹传感器等局部特征进而识别手机型号，识别结果显示该方法对具有清晰边缘的废旧手机具有较高的识别精度，但由于识别和遍历均耗费较长的识别时间，导致该方法无法用于大规模废旧手机回收中.Martin等［10］提出基于轮廓和形状匹配的识别方法，该方法可以根据图像的局部纹理特征识别废旧手机的轮廓，但对于各元件轮廓和形状相似度极高的部分型号废旧手机，致使该方法在识别废旧手机范围上受到约束.Feng等［11］依据识别目标丰富的边缘特征信息，提出一种改进型方向梯度直方图(histogram of oriented gradient,HOG)提取手机边缘特征值，并与SVM结合实现了快速识别.然而，该方法对手机部分占图像比例要求较高，若识别的手机图像比例过小时，会使得SVM识别模型难以收敛，造成识别的错误率增高.综上分析，虽然通过SIFT、HOG等算子可以提取和表达手机外观中的局部特征，并通过若干个局部特征确保手机特征识别精度，但由于手机型号众多，重复相似的局部元件会大幅降低型号识别精度［12-13］.此外，解析能够精准区分手机型号的局部特征较为困难，且特征标注的工作量极大.因此，该类方法还难以满足大规模废旧手机快速识别的需求.
针对局部图像特征提取方法识别准确率较低的问题，研究者提出基于卷积神经网络(convolutional neural networks,CNN)的深度学习算法识别废旧手机型号，该方法能从废旧手机图像以及大规模数据中提取全局特征，并能够实现复杂特征降维，提高手机型号的识别速度.Wei等［17］使用CNN替代传统的关键点
特征提取方法，对废旧手机外观边缘及其形状进行描述，实验结果显示提出的方法在废旧手机品牌外观识别中取得较好效果.然而,CNN 在图像特征提取时需要大量的标注数据，运用小规模样本训练会影响到特征提取的可靠性.Huang 等［18］使用CNN构建废旧手机的通用识别器，该识别器的识别结果相比数理统计、SVM等方法的识别精度更高，但该方法只能依据手机表面上的标识进行品牌的粗分类，难以实现废旧手机型号的精确识别.Federica等［19］利用候选区域方法将图像分割成固定尺寸的图像，分别输入到CNN网络中，由全连接层实现目标分类，实际使用效果显示该方法相较于传统的CNN网络具有更高的识别精度，但由于在模型训练过程中计算量大、耗时长，因此该类方法还难以满足识别实时性要求高的废旧手机回收任务.上述手机型号识别研究均须在训练前规定废旧手机型号类别，并收集各类别的数据样本对识别模型并进行训练，从而完成识别模型的设计.然而，在实际手机回收场景中手机型号的类别随着新机型上市而动态更新，且由于新机型训练样本较少使得CNN模型难以及时学习和提取有效的特征信息.
为了在保证废旧手机型号识别准确性和快速性的同时提高识别模型在手机样本不足时的识别准确率，一种基于相似度对比的识别方法在文献［20-21］中被提出.该类算法通过评估输入样本之间相似度来进行废旧手机识别模型的训练，在输入图像与数据库中所有的机型相似度均未达到阈值的情况下，判定该输入图像为已更新机型，并对手机图像特征重新定义.该方法不仅能确保识别精度，同时还能降低废旧手机型号更新时带来的重复训练的复杂度，提高识别模型在实际应用中的实用性［22］.例如,Weinberger等
［23］、Abeywickrama等［20］通过计算废旧手机图像样本向量间的欧氏距离作为类别相似度并使用最近邻搜索法(K-nearest neighbor,KNN)对目标进行识别.实验验证结果表明该方法不仅能在少量样本下快速完成识别任务，而且具有较高的
114北京工业大学学报2021年
精度.Zhu等I24】提出一种基于三元组损失的CNN 识别模型，该CNN模型由多个通道组成，共同学习输入训练样本的全局和局部特征，并通过改进的三元组损失函数对网络参数进行训练，训练得到的模型对相似度较高的样本具有更高的识别能力.上述方法主要使用相似性度量方法学习提取手机各型号间的特征，尽管该类模型精度高，但由于模型使用的网络层数较多，涉及大量的网络参数，当网络参数训练不充分时仍然影响模型对废旧手机型号的识别精度.
为了实现废旧手机回收过程中手机型号的快速准确识别，同时使模型在小样本情况下也具有良好的性能，文中设计了基于CNN的手机型号识别模型，该模型结合CNN特征降维和孪生神经网络结构(siamese convolutional neural network,S-CNN)，同时运用基于自适应学习率的模型参数更新策略更新S-CNN的网络参数，确保手机外观型号的准确识别，为了完成识别模型的设计，文中主要从以下几个方面进行研究：首先，在第2节对废旧手机外观特征进行分析并引入边缘检测算法提取回收人员拍摄验机照片中可识别的手机区域，获得手机型号数据集；其次，在第3节描述基于孪生CNN的特征提取结构和对比损失函数，建立废旧手机型号识别模型并进行训练；最后，在第4节通过实际案例验证该方法的有效性.
1废旧手机特征分析
1.1特征分析
目前大多数废旧手机外观上均具有明显类型信息，包含手机的品牌标志、摄像头、闪光灯、指纹传感器，是识别废旧手机型号的重要依据.
为了提取图像特征，进而实现废旧手机的识别，本文收集和整理各类废旧手机在验机时回收人员拍摄的照片，并筛选计算机可识别和分类的系列图像.选取回收过程中需要被分拣出来的重要型号构建热门机型数据集，包含huawei m7、huawei m8、sumsung A7、sumsung S8、iphone4等13个热门机型，这些机型市场回收量大，因此训练样本均超过50个.另选取37个机型构建非热门机型数据集，由于该数据集中的机型在市场中流通量较低，搜集得到的训练样本数均小于50个，文中以此数据集测试模型在小样本下的识别性能.此外，统一图像分辨率为512x 512，并将2个数据集随机分成2个部分,90%的图像样本作为训练集，另外10%作为测试集，数据集中不同型号手机样本如图1所示.
图1不同型号手机样本
Fig.1Different models of mobile phones
1.2特征区域提取
由于照片的角度、设备、光源等拍摄条件各异，因此需要去除照片中的无关区域，具体实施操作是将验机照片灰度化，然后使用边缘检测算法提取手机区域边界，形成感兴趣区域(regin of interest, ROI).
1.2.1灰度化
为了提升图像处理速度，在进行手机区域提取前需要将R、G、B彩图像转换成单通道灰度图像.转换后的灰度图像仍保留彩图像的度和亮度分布特征，灰度化转换公式为
P=a R+0G+酌B(1)式中:P为灰度化后图像的像素矩阵;R、G、B分别为原图中红、绿、蓝3个通道的像素矩阵；琢、茁、酌为灰度调和权值.
1.2.2手机特征区域提取
为了去除灰度图像中的无关区域，使用Canny 边缘检测算法提取手机轮廓［21］，具体步骤如下.
1)为了抑制灰度化时可能出现的噪声，使用高斯滤波算法对灰度图像中的每一个像素点(x,y)进行平滑处理，滤波器函数为
1x2+y2
〃(x,y)=----e-2滓2(2)
2仔滓
式中：p(x,y)为点(x,y)经过高斯滤波后的像素值;x、y分别为图像中像素点的横、纵坐标；滓为方差，滓在区间［1.2, 2.4］随机取值.
2)使用Canny边缘检测算子提取手机轮廓，计算公式分别为
M(x，y)=J x，y)+p(x，y)(3)
兹(x,y)=arctan(4)
Py(x，y)
第2期韩红桂，等：基于李生卷积神经网络的手机型号识别方法115
式中:M(x,y)为图像中像素点(x,y)的梯度幅值，反映图像的边缘强度；兹(x,y)为图像中像素点(x, y)的梯度幅值方向，反映图像的边缘方向;Px(x,y)和p y(x,y)分别为像素点在水平与垂直方向的偏导数.为了精确定位边缘，并对所得梯度进行非极大值抑制，寻图像梯度中的局部极大值点，设非局部极大值点为零，使图像边缘得到细化.
3)使用基于最大类间差分的阈值分割法去除伪边缘点，设定渍、渍2分别为高阈值和低阈值，验机照片像素中的最大类间方差啄2计算公式为
啄2(渍)_Pl(渍)伊P2(渍)伊(滋1(渍)-“2(渍))2
(5)式中:P，渍)为手机像素数占图像像素总数的百分比；P2(渍)为无关区域的像素数占图像像素总数的百分比；滋(渍)为所有目标像素的平均灰度值；滋2(渍)为所有无关区域像素的平均灰度值.
遍历图像求得令最大类间方差啄"渍)最大的阈值渍为该验机图片的最佳阈值.将该阈值作为Canny算子的高阈值＜p1，则低阈值渍2_0.5＜p1.当候选边缘点的梯度幅值M(x,y)＜渍2时，该点为伪边缘点；当M(x,y)＞渍时，该点为边缘点；若M(x,y)小于高阀值而大于低阀值，那么判断此点与前面得到的边缘点是否连通，若连通则将此点记为边缘点，连接边缘点得到边缘图像后，对边缘图像进行形态学闭运算，去除孤立的毛刺和缺口，得到边缘图像.
最终得到通过以上基于边缘检测算子的ROI 提取步骤，可有效去除与识别无关的区域，实现手机型号的特征提取，同时降低待学习图像尺寸的分辨率.
2废旧手机型号识别方法
废旧手机回收过程具有类别数目多且不断变化的特点，而传统神经网络方法在添加新机型时，重新训练过程复杂烦琐，难以胜任大规模废旧手机型号的识别.因此，作者设计一种基于S-CNN的废旧手机型号识别方法，如图2所示，该模型主要包含模型建立、型号识别和参数学习3个模块，各模块的主要功能为：
1)模型建立.随机从基准样本集和训练样本集中各抽取一张手机图像组成训练样本对，将随机组成的训练样本对输入到S-CNN模型中，根据模型输出的相似性度量动态更新S-CNN模型中的参数，最终获得最优参数组合.
2)参数学习.建立基于自适应学习率的手机识别模型参数更新策略，该策略能够在训练过程中自适应调整学习率，以加速模型训练速度、提高识别准确率.
3)型号识别.将基准样本集中的全部图像输入到训练好的单边S-CNN模型中，建立基准机型数据库，将待识别图像与基准机型数据库中的数据进行相似性对比，遍历检索出相似性最高的目标机型. 2.1模型建立
文中提出通过度量输入样本之间相似度的S-CNN来构建手机型号识别网络，该网络由2个相同的CNN组
成孪生结构,2个网络之间共享所有的参数w，如图2所示.CNN作为一种前馈神经网络，能够使提取后的样本特征具有平移旋转不变性，实现样本空间的降维，已被广泛应用于图像和视频的特征提取.除输入、输出层外，卷积网络通常由卷积层、池化层、全连接层等结构叠加组成.一般卷积层与池化层是交替使用的，这样的结构能够使提取后的样本特征具有平移旋转不变性，且可以降低参数数量，有利于网络优化.通常CNN的结构主要包括以下方面.
1)卷积层.卷积层的作用是对从输入层获得的图像进行特征提取.卷积层在上级输入层上通过固定步长的滑动窗口计算得到卷积特征图，计算公式为
r i+1_f(棕i r i+姿l)(6)式中:r l+1为l+1层的激活特征图;f(•)为激活函数；棕为第l层的卷积核；姿l为第l层的输出偏置参数.
2)池化层.在图像特征提取过程中，池化层的作用主要是剔除冗余区域，降低数据维度.池化的方法主要有最大池化和平均池化2种.所保留的特征使得最后的特征表达保持旋转、位移、伸缩的不变性.文中使用的平均池化公式为
Q a伊b
S2-1S]-1
伊 S]+i,b伊 S2+j
(7)式中:Q a伊b为池化后的输出向量;r为输入向量;S1、S2为池化步长；a、b为平均池化后卷积特征图的维度.
首先从基准样本集T和训练样本集X中各随机挑选一个样本t和x输入到S-CNN中，通过网络的前向传播得到2个长度相同的向量G w(t)和G w(x)，定义2个输出向量间的欧式距离为样本t 和x的相似度，
计算公式为
116
北京工业大学学报2021 年
模型建立
/d(x ,t)=\G w (x)-G w (t)\
相似度计算 损失函数
型丨基准样本集X
遍历检索
机型数据库
手机型号I
欧式距离
\<0.5
7
图2基于卷积神经网络的手机型号识别模型
Fig. 2 Mobile phone model recognition model based on convolutional neural network
/
\
d( t, x) = II 0^ (t) - 0^ (x)L (8) 式中：d(t, x)为样本t 和x 的欧氏距离;O w (x )为训
练权值是w 时，样本x 经前向计算后的输出.
为了获得更好的识别效果，使得同机型下获得 d( t, x)趋近于0，不同机型手机的相似度计算d (t,
x)趋于无穷，对损失函数进行改进.在每个训练批
次中，同时从训练样本集中随机抽取2个样本x i 和 x 2 ，其中x 1与基准样本t 型号相同,x 2与t 型号不同，
为使得同机型的距离小于异机型的距离.即要求 d( t, x 1)尽可能小，d (t, x 2)尽可能大，建立对比损
失函数为
甄琪L(尤1, t,%?) = max ( d( t , xj — d( t ,x 2) + u,0)
(9)
式中：L (x 1, t , x 2)为输入样本为x 1、t 、x 2时的对比损
失函数值；超参数u 为大于0的极小数；max 为取最
大值函数.同时将同型号手机t 和x —异型号手机t 和x 2
送入孪生卷积网络中，经过网络的前向计算，得到2
个单边网络间的距离计算结果，使用该结果计算损
失函数，从而完成网络的前向传播.2.2参数学习
为了实现神经网络参数的在线更新，文中提出 了一种自适应学习率的手机识别模型参数更新策 略，其学习过程可以表示为
El g ； I =(1 - P)EI g ；-11 + pg ：
(10)
式中：E I g ： I 为第k 次迭代参数梯度的期望值;g k-1
为第k - 1次迭代时的参数梯度；灼为衰减参数；灼沂(0, 1).同时，权值更新公式可以表示为
w k
= W k-"*-] (11)
驻叫-1 = - 一/ 可 主k -1 (12)
n k -1 + 着
式中：W k 为第k 次迭代时的参数集合k-1为第
k -1次迭代时参数更新时的变化向量;k 为当前迭
代的次数；着取任意常数;n k 为一个对角矩阵；浊为 学习率，控制每次在负梯度所在的方向上改变的
步长.
2.3型号识别
为了实现手机型号的快速准确识别，需要在识 别过程中精简重复的结构，建立基于单边S-CNN 的 手机型号识别算法，具体步骤如下.
步骤1为削减与识别无关的冗余结构，取训
练后权值为w 的单边S-CNN 模型作为废旧手机型
号识别模型.
步骤2设基准特征数据集T 中共有n 个手机 型号，将所有样本t 1 - t n 依次输入到单边S-CNN 识
别模型中，将模型的输出值G w (t 1) -G w (t n )以向量
的形式存储到基准数据库G ( T )中.
步骤3将待识别图像d 输入到单边S-CNN 模 型中，得到输出值G w (d).
步骤4遍历对比识别输出值G w (d )与基准数 据库G ( T )中的值，当距离最近且小于0.5时，该基 准样本为目标机型
.
发布评论