第38卷第2期2021年3月
贵州大学学报(自然科学版)
Journal  of  Guizhou  University  ( Natural  Sciences)Vol. 38 No. 2
Man  2021
文章编号 1000-5269（2021 ）02-0001-06 DOI ： 10.15958/j. ceCt. gdxbzrn. 2221.22.21
智能家居服务机器人视觉和听觉行为
隐私识别保护与度量技术
杨观赐1胡丙齐1蒋亚汶1李 杨1，王 阳*
*2收稿日期:2021-01-03
基金项目：国家自然科学基金资助项目（61863005）；贵州省科技计划资助项目（黔科合平台人才［2018 ］ 5702和［2020 ］
6007，黔科合支撑［2019 ］ 2814、［ 2020 J4Y056）和［2021 ］ —般 439）
作者简介：杨观赐（1983—），男，教授，博士，博士生导师，研究方向：自主无人系统与机器人、多源数据融合与认知,E-mnl ：
gcyann@ gzr. edu. ce.
*通讯作者： 王 阳,E-mail  ：wangyann2010cesit@ outlooU. com.
（0贵州大学现代制造技术教育部重点实验室，贵州贵阳550022 ；
2.贵州大学公共大数据国家重点实验室，贵州贵阳552022）
摘 要：智能家居环境中广泛使用摄像头、语音监听设备而存在隐私泄漏的风险，这影响人的心理状态甚至会引
起心理障碍。首先，论文基于调查问卷结果分析了人们对服务机器人涉及的隐私信息的关注方面及程度；然后，
分别从基于数据保护的隐私保护、基于回避工作模式的隐私识别保护、聚焦特定目标的隐私识别保护、隐私度量 4个方面进行了综述，并给出了未来值得关注的几个方向。
关键词：服务机器人；机器视觉；隐私识别；隐私保护；隐私度量
中图分类号:TP101 文献标志码:A
《2217年中国机器人产业发展报告》指出：截 至2210年底，我国69岁以上人口已达2.3亿人，占 总人口的16.3%。2221年政府工作报告在“十四
五”规划目标任务概述中提出：人均预期寿命再提 高1岁。随着人口老龄化趋势加快，到2235年我
国老年人口将达到4亿人，如何借助现代科技发展 的成果（特别是服务机器人）让老年人安享晚年,
减轻因子女在外工作而无法时刻照顾家中老人的 负担，是值得深入研究的课题。国务院发布的《中
科技的利与弊国制造2225》明确提出：围绕医疗健康、家庭服务、 教育娱乐等服务机器人应用需求，积极研发新产
品，促进机器人标准化、模块化发展，扩大市场应用 的要求。针对机器人，特别是服务机器人，国内外 均开展了较多的研究，如:JiZ 。机器人⑵，法国科技 公司Blue  Frog  Robotics 研发的BuUXy 机器人,
新松机器人自动化股份有限公司的讲解机器 人⑷，北京科技大学研制的儿童玩伴机器人、表情
头机器人［5］等。
2217年6月18日，国家质检总局发布了 关于智能摄像头的质量安全的风险警示，称已检测
的44批次中,32批次样品存在质量安全隐患，可 能导致用户监控视频被泄露，甚至智能摄像头被恶
意控制等危害。2218年1月22日，《财经》杂志以
“失控的摄像头：谁在售卖你的私生活? ”为题报道 了“私生活正被摄像头同步直播”9 ，并指出要提
高装备有智能摄像头类设备与系统的安全防护性
能，从源头上最大化减少安全风险。
有研究表明：1）用于照顾老年人的智能家居
系统，因其广泛使用摄像头、语音监听设备而存在 隐私泄漏的风险，影响人的心理状态甚至会引起心 理障碍，这是此类系统部署推广的最大障碍之
一⑺。2）人需要独立的空间进行思考与行为表达 （如大声唱歌、夸张地跳舞等），当一个人发现自己 被偷窥或者监听时，他会立刻停止做此类事情，并 且会感到非常惊恐、羞耻和屈辱⑻。很明显，一些
事私下可以做，但不想让人知道。而认知科学的研
究表明：心理障碍可以直接影响人们正常的生活、 行为，甚至直接或间接地导致犯罪、自杀，以及其他
一些危害社会治安的行为。对隐私内容有符合人 心理需求反应的系统，可以改善用户体验感受。
为了全面深入地把握智能家居服务机器人视
觉和听觉行为隐私保护技术，本文首先基于问卷调
-2-贵州大学学报(自然科学版)第38卷
查的结果，扼要地分析了人们对服务机器人所涉及的隐私问题的关注方面及程度；然后，分别从基于数据的隐私保护、基于回避工作模式的隐私识别保护、聚焦特定目标的隐私识别保护、隐私度量4个方面进行了综述；最后，总结展望了未来的发展趋势。
1问卷调查分析
为了掌握人们对服务机器人所涉及的隐私问题的关注方面及程度，课题组按照统计调查的知识，设计
了服务机器人与个人隐私保护调查问卷⑼。问卷共设计了12个问题，限于篇幅不再赘述，详细内容可以查阅https：//www.wenjuan/ s/zMRFFb2。通过在线调查的方式，共收集有效调查问卷共707份。参与调查的人员中，从性别的角度看，男性占45.47%；从年龄分布方面，V1,1〜35岁，36〜50岁，51〜60岁和〉60岁的分别占7.85%，47.52%，42.15%，7.64%和1.44%；在受教育的最高学历分布方面，初中，高中，本科(大专)，硕士研究生，博士研究生及其他学历情况的占比分别是  2.49%，5.25%，45.45%，15.25%，9.46%和7.71%。参与调查的人员地理位置分布方面，涉及到全国的1余个省份，具体如图1所示。这些数据表明，调查数据具有较好的分布与代表性。图2是涉及隐私信息问题的调查结果统计。
图1参与调查的人员地理位置分布情况Fig.1Geographical distribution of people involved
in the questionnaira survey
问卷调查结果表明：97.55%的参与人关心隐私检测和隐私保护问题;74.64%的调查者希望服务机器人能检测出隐私情况，如：衣服特别少的时候，停止记录这些信息，并且机器人主动调整摄像头，不再盯着使用者。当摄像头、语音监听设备获取隐私数据时，超过56.86%的参与人感觉非常不舒服。同时，出于对隐私安全的担忧,55.54%的参与人主张将所有数据保存在机器人系统或者本地磁盘，不传送到云端并将隐私数据转换为非隐私数据。
9.48%
■隐私问题非常重要
s隐私问题有点重要
□隐私问题不重要
(a)调查问题：家庭成员隐私问题的重要性
4.62%S识别出敏感隐私情况，停止记录这些信
息，但是一直会盯着使用者
□识别出敏感隐私情况，停止记录这些信
息，主动调整摄像头不再盯着使用者
■家用机器人没有识别敏感隐私情况的功
能，盯着被观察者并保存观察到的数据
□我不关心
(b)调查问题：哪一种工作模式您比较喜欢
7.21%
□所有数据保存在机器人系统,
木待送到云端
□所有数据均可传送到云端，
但要有加密措施
■所有敏感数据处理过后
保吞右云端
(c)调查问题：哪一种数据保存模式您比较喜欢
图2问卷调查结果
Fig.1Resulit of questionnaira suavey
2基于数据保护的隐私保护技术从数据保护的角度，针对智能家居及服务机器人数据安全的问题，许多研究者采用了访问控制、密码验证等方式保护数据安全。
孙红雷女友是谁针对传统防火墙不能满足用户对自身网络安全管理的需求，文献［17］在分析服务和用户属性量化的基础上，提出了量化服务和角的访问控制模型，但对于区域网络策略的冲突和冗余问题，并没有提出检测及消减的方法。为了解决智能家居环境中内网信息共享与外网连接引起的信息数据安全问题，文献［1］在家庭网络和网络提供商之间建立数据安全集线器，并使用用户匹配策略搭建隐私信息保护控制框架。虽然该框架有助于解决用户隐私问题，但随着安全集线器数据量的增加，将会造成集线器冗余，且未从用户心理的角度进行数据存储和共享。文献［12］分析了物联网架构下不同层次的安全问题，并强调应建立法律的隐私保护机制。虽然研究者建立了隐私机密认证控制机制，但是即使给数据加密进行传输，攻击者仍然可通过分析数据流来提取用户信息。文献［13］通过
第2期杨观赐等：智能家居服务机器人视觉和听觉行为隐私识别保护与度量技术-3-
分析物理层的性能，运用分布式控制、决策和推理算法建立隐私保护机制，在一定程度上能防范隐私泄露问题，但是当可信任传感器的网络节点信息泄露，攻击者仍可从中获取用户信息。
就采用加密方式保护用户信息安全方面，文献［14］通过分析智能家居信息安全的特点，采用对称密码算法作为数据与接入认证的加密算法，对输入和接收设备的数据进行了加密认证，但遗憾的是作者并没有进行整个智能家居的网络攻击测试。文献［15］从智能家居系统的风险分析入手，开发隐私保护软件，该方法从应用层面上试图保护隐私信息，但对于网络连接层隐私保护的研究还有待深入。文献［16］针对智能家庭环境中移动设备和家用电器增加而导致内容共享域扩展的问题，提出了一种细粒度访问控制策略的隐私保护机制，并对内容进行加密处理。以上研究主要是通过访问权限控制、密码学技术、身份认证等技术以实现保护数据和保护隐私的目的，但数据在传输过程中一旦被入侵，则所有的信息都将被泄漏。
3基于回避工作模式的隐私识别保护
从监控手段的多样化与协同工作方面看，当前市面上也出现了一些多传感设备协同工作以解决信息安全的产品，如：三星SmanTV2［7］，当用户将提及敏感话题时，可以使用其语音交互功能，告诉SmartTV2关闭语音监听功能。科大讯飞与如家酒店联合推出的叮咚智能音［84，通过与叮咚进行高
自由度的语音对话，客人可以实现对客房所有电器的控制以及语音的监听。通过向叮咚下达指令，就会启用对应的服务；同时，当涉及个人隐私内容时，也可以命令叮咚关闭其语音监听功能。此类系统虽然可以避免隐私敏感内容的监听，但是当突发危险情况时（如有人入侵但系统却是处于被“叫停”而没有工作的状态），会因为系统的“不作为”而失去一些重要的信息。文献［19］提出了基于改进YOLO的隐私情境检测算法，并搭建了隐私情境检测硬件平台，实现了具有隐私情境检测功能的服务机器人系统。当检测到隐私情境后，系统将调转摄像头并将摘要信息保存到文档，所提出的算法具有较好的鲁棒性。
4聚焦特定目标的隐私识别保护对于特定目标的识别、特别是涉及隐私内容的检测方面，为了检测出图片中的裸体内容，文献［22］通过设计裸体检测过滤机制来监控家庭儿童访问站，并且使用颜信息分区模块来描述裸露图像，采用支持向量机对图片样本进行分类，获得94.3%的识别率。针对人的动作行为，文献［21］通过研究不同动作类之间的共同模式，运用改进的稀疏编码方式识别人体动作，为分析静态动作识别提供了方法。而对于动态的人脸识别，文献［22］针对移动设备而导致相机视觉捕获设备抖动及面部移动的问题，结合光照、情境变化提出了一种卷积神经网络的人脸识别算法。针对复杂环境的语音识别问题，文献：23］提出深度神经网络激活因素类之间的相似度量方法，得到基于听觉的Galon特征与深度学习架构结合的一种鲁棒自识别语音算法。
为了从数据源上解决隐私泄露问题，文献［24］提出了基于近似等价转换的服务机器人视觉隐私行为
识别与保护算法。此研究中，首先，将注意力模型与卷积神经网络结合，提出了融合注意力模型的卷积神经网络场景识别算法；然后，设计了基于IncentTn-v3和LSTM的涉隐私图像语义特征描述算法；最后，构建了将传感器信息融入到场景语义描述的机制。所实现的视觉隐私行为识别与保护系统平均隐私识别准确率和隐私场景语义描述正确率分别为91.35%和86.36%，具有良好的鲁棒性和隐私保护性能。图3是所给出的近似等
图3近似等价转换示意图[25]
Fig.3niustration of approximate
equivalence transformation[25]
针对人脸隐私保护，文献［25］基于生成式对抗网络提出了一种无监督的服务机器人人脸隐私保护方法。图4是其网络结构图。此方法训练不需要大量带标签的数据，可以生成新的面部特征替换原始图像的面部特征，
独特的损失函数可以缓解
・4・
贵州大学学报(自然科学版)第33卷
模式崩塌和不收敛问题。
系的方法，这为将此类信息表达成不涉及隐私内容
整体上，这些基于图像、语音认知的研究成果， 的状态成为了可能。同时，为研发具有能够检测隐
从图像或者语音等数据源中获得语义上的映射关
私内容的服务机器人提供相关的技术基础。
d[ d.2 必
(2,2,512) (4,4,512X8,8,512)
(b)判别器架构
图4网络结构详情[22]
Fig. 3 NetwrrO  architecturet  and  detailt [22]
Self-attention  layer
(a)生成器架构
Deconvolution  Convolution
I  Average  pooling  匚 71 Max  pooling
5隐私度量
针对隐私保护系统的相关度量问题，有学者研 究基于SSannou 信息论的通信框架，研究了隐私保
护的信息熵模型及其度量方法，提出了隐私保护方 法的强度和敌手攻击能力的量化测评［2］。此成果
虽然可为隐私泄露的量化风险评估提供理论支持, 但是其信息熵模型较为基础，其所考虑的含隐私信
息主观感受的信息熵模型带有较强的随机性与主
观性。为了解决内容中心网络节点的隐私泄露问
题，文献［27］设计了面向隐私保护的协作缓存策 略。该研究最大特点是：从信息熵的角度提出隐私abb的词语
度量指标，并证明了其缓存策略的合理性。虽然其
仿真结果表明该策略可以增强用户隐私保护水平, 但是其仿真所涉及的节点、内容规模与实际的情况
相差较大，且策略并没有在实际工程中进行验证, 实际应用效果还难以确定。
围绕用户轨迹隐私保护方面，文献［28］通过 用带权无向图描述用户运动轨迹，并通过设计基于
信息熵的用户轨迹隐私水平计算方法，形成了一种 轨迹隐私度量方法。虽然此度量方法可以为用户 和轨迹隐私保护方法设计者提供有价值的工具，但
是却需要攻击者的背景知识，而现实情况是：绝大
数情况下，无法知道攻击者的背景知识。
围绕智能家居环境中情境感知的隐私保护方
面，文献［29］通过传感器网络搜集用户行踪和偏 好行为，并采用信息熵理论对所搜集数据进行分析
处理，得到个人行为习惯的隐私度量方法。然而， 在现实生活中，很多网络攻击导致的隐私泄露行为
是从信息采集的源头开始，该方法并没有在搜集数 据时就保护隐私信息。围绕数据收集保护隐私问
题，文献［16］提出了一种匿名发布敏感数据机制， 使背景信息不能被信息攻击者作为隐私数据参考;
同时，采用最大熵保护敏感隐私数据。虽然该方法
从数据的收集解决了隐私信息保护的问题，但是在 隐私数据传输的过程中，没有提出相应的保护
机制。
第2期杨观赐等：智能家居服务机器人视觉和听觉行为隐私识别保护与度量技术-5-
6结束语
对于隐私的界定因习俗、法规、种族的不同而有不同的内涵，学术界没有一个统一的定义，这为隐私的检测与保护带来了困难。当前的文献成果多数都是面向已经存在安全隐患、带有隐私信息的数据，并非从源头上使得数据本身不涉及隐私内容。未来，以下几个方面可能是值得关注的方向。
1信息熵理论在衡量特定信息时具有优势，那些关于如何度量隐私信息的成果，可为因摄像头、语音
设备而引起隐私泄漏风险的服务机器人从数据源头上减少甚至消灭带有强隐私信息的内容提供借鉴。虽然已有研究都并非从源头上使得数据本身不涉及隐私内容，但它们却是利用信息熵理论描述特定信息的良好示范。
2)生成式对抗网络[7]基于博弈论的二人零和博弈，利用一个生成器和一个判别器，通过对抗学习的方式来训练，从而达到估测数据样本的潜在分布并生成新的数据样本的目标，为将涉及隐私信息的图片与声音数据转化为不涉及隐私的数据提供了一种新的实现途径。
3)面向智能家居动态非结构环境中的服务机器人视觉和听觉行为隐私自主感知方法、及自主尊重用户行为隐私的多模态工作机制，尝试开发具有行为隐私认知功能的服务机器人。
4若能获得普遍认可的隐私检测内容的方案及隐私信息保护的方案，无疑会促进有视觉、听觉等涉隐私内容的服务机器人产业的发展。结合前文问卷调查结果可知，设计符合用户心理关爱需求的、能够保护用户隐私的服务机器人产品是人们所期待的。
参考文献：
[1]和讯名家.2014中国机器人产业发展报告权威发布，
智能技术比肩欧美[EB/OL],(2227-03-14)[2221-03­27].http：//news.hexun/2717-08-28/19061434
9.
html.
[2]BUSSGANG J J,SNIVELY C.Jibo：/socinl robot for Px
home[J].Harvard Business ScOocl Case,2715,7((6): 516233.
消火栓
[3]ROBOTICS B F.Blue fro：robotics-oompanioc anj sccial
robots[EB/OL].(27212121)[272123-27].http：// www.C l aefrocrobotics/.
[4]新松机器人自动化股份有限公司.讲解机器人[EB/
OL].(2713-1225)[2721232。].http：//www.is/c-bot/indeu.c h p/HomeZ/roCaci.[5]HUNG H H.智能服务机器人设计研发与实现[D].
南京：南京理工大学,2715.
[6]财经杂志.失控的摄像头：谁在售卖你的私生活？
[EB/OL].(27192526)[272123-15].https：//www.
haxin,/2rticle/232743.html.
李湘的妹妹[7]SHANKAR K,CAMP L J,CONNELLY K,ei al.Aginj,
privacy,and home-basef computinj：aevelopine a desinn framework[J].ICEE Pervasive Computinj,2712,11
(4):4624c
[3]GREENWALD G.Glenn Greenwald：why privacy matters
[EB/OL]•(2717-17-01)[27212123]https/Awvwc
tef/tales//lenn—neenwaia—why—privacy—matters. [9]YANG G Cc家用机器人与个人隐私保护的调查[EB/
OL]c(27212121)[2721-72-12]https：///ww\wen-jua.cds/zMRFFb2/i
[17]刘庆云，沙泓州，李世明，等.一种基于量化用户和服
务的大规模网络访问控制方法[J]计算机学报,2714
(5)/119521275
[11]ARABO A,BROWN C EL-MOUSSA F.Privaco in the
aae of moCilitp and smart aevices in smart homes[J].
IEEE Computer Scciety,2712,12(3)：319-226.
[12]KOZLOV D,VEIJALAIEEN J,ALI Y.Secoritp and pri-
vaco threats in IoT arcOitectures[J].ICST(Institute for Computer Sciences,Social-1nformatics and Telecommuni-catioTs Eneineerine),2712,3(12)：256-262.
[13]JAIN S,TA T,BARAS J S.Physical layw metPoTs foo
privaco provision in aistriOuteX coTtrol end inference[J].
Proceeninns of tPe IEEE Conferencc on Decision and CoTtrol,2715(35)：133373/i
[14]李翔.智能家居信息安全关键技术的研究[D]西
安：长安大学,2715.
[15]ANDREAS,JACOBSSON,MARTIN,ei al.A risk analysis
of a smart home automatioT system[J].Future Genera-tioT Computer Sykems,2716,56(17)：719233.
[16]KIM E,KIM D Y,HUH M,et ad Privaco protectee con-
teni sharinn in extended home enviroTment over CoTtent-Centrio NetworSine]J].IEEE,2712(32)：643249i [7]RUTLEDGE R L，MASSEY A K，ANTON A CcPonaaos
impacts of NT aevices:a smartTV case sw U s[C].Bei-
und,/P nind,Udnanoines，2717c
[12]雷科技.叮咚智能音响[EB/OL](27192521)
[2721-02-13].https：//www.leiCejn conl/probuct/2e-
eane/5242．
[12]杨观赐，杨静，苏志东，等.改进的YOLO特征提取算
法及其在服务机器人隐私情境检测中的应用[J]自
赵丹的简介动化学报,2718,44(12)：22382249.
[27]SANTOS C,SOUTO E,2ANTOS E.ANDImage：an anap-
tive arcOitecture foe nude aetectioT in imaae[J].IEEE ,