如何在交通领域构建基于图的深度学习架构(HowtoBuildaGraph-BasedDee。
。。
How to Build a Graph-Based Deep Learning Architecture in Traffic Domain: A Survey 综述:如何在交通领域构建基于图的深度学习架构舒畅近照
因为这篇⽂献对于交通领域中的各种问题、⽅法做了⼀个⽐较清楚的综述,所以是⼀篇很有价值的⽂献,很适合刚进⼊这个⽅向的同学。
发表在: ( Early Access )
发表时间应该是在2020年下半年,⼀共21页
摘要
近年来,针对交通领域的复杂挑战(如空间依赖、时间依赖),各种深度学习体系结构被提出,并取得了令⼈满意的性能。这些架构由多种深度学习技术组成,以解决交通任务中的各种挑战。传统上,卷积神经⽹络(CNNs)通过将交通⽹络分解为⽹格来建模空间依赖性。然⽽,许多交通⽹络本质上是图结构的。为了充分利⽤这些空间信息,将交通⽹络⽤数学图的形式表⽰更为合适。近年来,各种新颖的深度学习
技术被开发⽤于处理图数据,称为图神经⽹络(GNNs)。越来越多的研究将GNNs与其他深度学习技术相结合,构建了⼀种架构来应对复杂交通任务中的各种挑战,其中GNNs负责提取交通⽹络中的空间相关性。这些基于图形的架构已经达到了最先进的性能。为全⾯⽽清晰地介绍这种新趋势,本调查仔细研究了许多交通应⽤中的各种基于图形的深度学习架构。⾸先给出了基于图的交通问题的规划指导,并从各种交通数据集构造了交通图。然后我们分解这些基于图的架构来讨论它们的共享深度学习技术,明确每种技术在交通任务中的使⽤。此外,我们总结了⼀些常见的流量挑战,以及针对每个挑战的基于图的深度学习解决⽅案。最后,给出了这⼀快速发展领域的基准数据集、开放源代码以及未来的研究⽅向。
1.概述
随着城市化进程的加快,⼤量⼈⼝迅速向城市集聚。在许多城市,特别是发展中国家的城市,私⼈车辆数量的迅速增加和对公共交通服务需求的不断增长对其现有的交通系统造成了巨⼤的压⼒。交通拥堵频发、交通事故严重、通勤时间长等交通问题严重降低了城市的运营效率,降低了乘客的出⾏体验。为了应对这些挑战,许多城市都致⼒于开发智能交通系统(ITS),以提供⾼效的交通管理、准确的交通资源配置和⾼质量的交通服务。这样的系统可以减少交通事故,缓解交通拥堵,保证公共交通安全。
构建智能交通系统,使城市智能化,主要有两个不可或缺的组成部分,即智能基础设施和先进的算法。⼀⽅⾯,随着交通基础设施投资的不断增加,道路⽹络上的环路探测器、探头、摄像头、出租车或公交车上的GPS、地铁和公交车上的智能卡、⾃动收费系统、⽹约车系统等交通设备和系统越来越多。这些基础设施全天候产⽣交通数据,这些数据是异构数据,包括数字数据(如GPS轨迹、交通测量)、图像/视频数据(如车辆图像)和⽂本数据(如事故报告)。这些交通数据量⼤、结构复杂,包含复杂的交通模式(如时空依赖性、⾼度⾮线性、复杂动⼒学)。迫切需要利⽤更智能和更强⼤的⽅法来处理这些交通数据。
另⼀⽅⾯,在交通领域,研究⼈员见证了算法从统计⽅法到机器学习模型,再到最近的深度学习⽅法的发展。在早期,流⾏的统计⽅法包括ARIMA及其变体[1]、[2]、VAR[3]、Kalman滤波[4]等,因为它们有坚实的和被⼴泛接受的数学基础。然⽽,这些⽅法的线性和平稳性假设被交通数据的⾼度⾮线性和动态性所违背,导致在实际应⽤中性能较差。传统的机器学习⽅法,如⽀持向量机[5],k -最近邻[6]可以建模⾮线性和提取更复杂的交通数据关联。但是,在[7]⼤数据场景下,这些模型的体系结构较浅,⼈⼯特征选择和分离学习都不能令⼈满意。
44路车事件真实深度学习在计算机视觉、⾃然语⾔处理等多个领域的突破,引起了交通运输业和研究界的关注。深度学习技术通过从原始流量数据提供端到端的学习,克服了⼿⼯制作的特性⼯程。深度学习技术在理论上近似任何复杂函数的强⼤能⼒,可以在各种交通任务中模拟更复杂的模式。近年来,随着计算能⼒(
如GPU)和充⾜的交通数据[7]的提⾼,基于深度学习的技术在各种交通应⽤中得到了⼴泛的应⽤,并取得了最先进的性能。基于循环神经⽹络( Recurrent neural networks,RNNs)和卷积神经⽹络(Convolutional neural network, CNNs)的体系结构在提取时空相关性⽅⾯曾经⾮常流⾏。在这些架构中,RNN或其变体被⽤于提取交通数据[8]中的时间相关性。在基于⽹格的交通⽹络[9]中,cnn被⽤来捕获空间关联。然⽽,许多交通⽹络本质上是图结构的,例如道路⽹络[10]和地铁⽹络。在CNN中学习到的空间特征对于表⽰基于图的交通⽹络来说不是最优的。虽然之前的⼀些⼯作已经在[11]、[12]图视图中分析了交通问题,但这些传统的⽅法在处理⼤数据和处理交通⽹络中复杂的关联⽅⾯还不够强⼤。
近年来,许多研究者将深度学习⽅法扩展到图数据上,利⽤图结构信息[13],并提出了⼀种新的神经⽹络——图神经⽹络[14]、[15]、[16],旨在应⽤于图相关的应⽤。gnn在许多领域已经成为最先进的⽅法,包括计算机视觉[17],⾃然语⾔处理[18],⽣物学[19],推荐系统[20]。由于许多交通数据是图结构的,许多现有的作品将GNNs合并到深度学习体系结构中,以捕获空间依赖性。最近的研究表明,这种基于GNNs的架构⽐基于cnns的架构具有更好的性能,因为⼤多数流量⽹络都是⾃然的图结构,⽽GNNs能够更准确地提取空间依赖关系。此外,有些任务本⾝就需要研究者基于图形进⾏预测,如不规则形状的交通⽹络预测。许多相关的作品已经在过去的⼏年中产⽣,更多的正在路上。在这种情况下,对交通领域基于图的深度学习架构进⾏全⾯的⽂献综述将是⾮常及时的,这正是我们的⼯作。
据我们所知,我们是第⼀个在交通领域提供基于图的深度学习⼯作的全⾯调查。注意,我们回顾的⼀些⼯作实际上是⽤类似的技术解决类似的交通问题。我们的⼯作可以帮助未来的研究⼈员避免重复的⼯作,专注于新的解决⽅案。更重要的是,这项调查的实际和明确的指导,使参与者能够将这些新兴的⽅法快速地应⽤到实际交通任务中。
主要贡献如下:
本⽂系统地概述了交通领域的问题、相关研究⽅向、挑战和技术,有助于相关研究⼈员定位和拓展研究领域。
我们总结了各种交通问题的⼀般公式,并为从⼏种典型的原始交通数据集构造图提供了具体的指导。这种全⾯的总结具有很强的实⽤性,可以促进基于图的⽅法在交通领域的应⽤。
我们提供了⼴泛应⽤于基于图的交通作品的典型深度学习技术的全⾯回顾。对其理论⽅⾯、优点、局限性及在具体交通任务中的变体进⾏阐述,希望能启发后来者开发出更多新颖的模型。
我们将讨论⼤多数基于图的流量任务所⾯临的⼀些挑战。对于每⼀个挑战,我们总结出多种基于深度学习的解决⽅案并进⾏必要的⽐较,为交通任务中的模型选择提供有⽤的建议。
我们在相关论⽂中收集基准数据集和开源代码,以⽅便在交通领域进⾏基线实验。最后,提出了今后
的研究⽅向
2.交通领域的主要问题、研究⽅向、挑战
谢娜流产2.1 交通问题
交通拥堵: 从时间损失、空⽓污染和能源浪费等⽅⾯来看,交通拥堵是现代城市最重要和最紧迫的问题之⼀。通过提⾼交通效率[36]、[37],缓解路⽹[38]、[39]、[40]上的交通拥堵,通过交通状态预测控制道路条件[41]、[42],通过控制交通信号[43]、[44]、[43]、[44]、[43]、[44]、[43]、[44]、通过预测公共交通系统的乘客需求来优化客流。
我的歌声里 原唱
出⾏需求: 出⾏需求预测是指从⼈⾓度对出租车、⾃⾏车、地铁、公交车等交通服务的需求。随着优步、滴滴等⽹约车平台的出现,以及地铁、公交等公共交通系统的快速发展,出⾏需求预测对于交通部门、商业部门和个⼈来说变得越来越重要。对于相关部门来说,这有助于更好地分配资源,例如在⾼峰时间增加地铁频率,增加更多的公交车到服务热点。对于商业部门,它使他们能够更好地管理出租汽车[46],拼车[47],⾃⾏车共享服务[48],[49],并使他们的收⼊最⼤化。对于个⼈来说,它⿎励⽤户考虑各种交通⽅式,以减少通勤时间,改善旅⾏体验。
交通安全: 交通运输安全是公共安全不可分割的组成部分。交通事故不仅会对受害者、车辆和道路基础设施造成损害,⽽且会导致交通拥堵,降低道路⽹络的效率。因此,监控交通事故对于避免财产损失和挽救⽣命是必不可少的。许多研究者关注的⽅向有:检测交通事故[50],从社交媒体数据预测交通事故[51],预测交通事故伤害严重程度[52],[53],预测事故预防[54],[55],[56]。
交通监控: 如今,监控摄像头⼴泛部署在城市道路上,产⽣了⼤量的图像和视频[27]。这种发展加强
了交通监控,包括交通执法、⾃动收费[57]和交通监控系统。交通监控的研究⽅向包括车牌检测[58]、车辆⾃动检测[59]、⾏⼈识别
⾃动驾驶: 近年来,⾃动驾驶汽车已成为交通领域的研究热点。许多任务都与视觉识别有关。⾃动驾驶的研究⽅向包括车道/车辆检测[61]、⾏⼈检测[62]、交通标志检测[63]和⼈/车轨迹预测[64]。
2.2 研究⽅向
基于图的深度学习在交通领域的研究表明,现有的研究主要集中在交通状态预测、出⾏需求预测、轨迹预测等⽅⾯。少数著作集中于车辆⾏为分类[65]、最优动态电⼦收费(DETC)⽅案[57]、路径可⽤性[66]、交通信号控制[67]。据我们所知,交通事故检测和车辆检测还没有基于图形视图的探索。
交通状态预测: ⽂献中的交通状态是指交通流量、交通速度、出⾏时间、交通密度等。交通流预测(TFP)[68]、[69]、交通速度预测(TSP) [70]、[71]、旅⾏时间预测(TTP)[72]、[73]、[74]是交通状态预测研究的热点分⽀。
出⾏需求预测: 出⾏需求预测的⽬的是估计未来需要4种交通服务的⽤户数量。旅游需求预测可分为两类,即区域级需求预测和出发地-⽬的地旅游需求预测。前⼀个旨在预测未来旅游需求在每⼀个地区的⼀个城市,例如,预测未来出租车请求在每个城市的区域[75],[76],或在地铁乘客需求预测警所⼀级
的[77],[78],[79],[45]或预测城市的⾃⾏车在每个地区招聘需求[48],[49]。后者旨在预测从⼀个地区到另⼀个地区的旅游需求数量,⽐区域级需求预测提供更丰富的信息,是⼀个更有挑战性的问题,值得探索。到⽬前为⽌,针对出发地旅游需求预测的研究较少[80]、[81]、[82],这是⼀个很有前途的研究⽅向
交通信号控制: 交通信号控制的⽬的是对交通灯进⾏适当的控制,以减少车辆长期停留在路⼝的时间[25]。交通信号控制[67]可以优化交通流,减少交通拥堵和车辆排放。
交通事故检测: 重⼤事故可能会对旅客造成致命伤害,并在道路⽹络上造成长时间的延误。因此,了解事故的主要原因以及事故对交通⽹络的影响对于⼀个现代交通管理系统[50]、[52]、[53]⾄关重要。
入党志愿书格式⼈/车轨迹预测: 轨迹预测[64],[83],[84]旨在预测动态的智能体在未来的位置。准确的⼈/车轨迹预测对于⾃动驾驶和交通监控等下游任务⾮常重要[85]。例如,准确的⾏⼈轨迹预测可以帮助控制器在危险环境中控制前⽅车辆[86]。它还可以使运输监控系统识别可疑活动[87]。
2.3 挑战和技术概述
时空依赖: 交通数据具有复杂的时空依赖性,会影响交通任务的预测。例如,预测⼀个区域的交通拥堵,该区域之前的交通状况及其周边区域的交通状况是预测[35]、[38]、[39]的重要因素。在车辆轨迹
预测中,周围车辆的随机⾏为和⾃⾝轨迹的历史信息会影响预测性能[88]。当预测⼀个地区的叫车需求时,其之前的订单以及具有类似功能的其他地区的订单对于预测是⾄关重要的[89]。在预测交通信号时,考虑多个交叉⼝的⼏何特征,同时考虑周围以往的交通流[67]。
外部因素: 除了时空数据外,还有⼀些类型的数据在交通任务中发挥着重要作⽤,它们是外部因素,如假期、天⽓状况(如降⾬、温度、空⽓质量)、极端事件[90]和交通事件(如事件时间、事件类型)[91]。外部因素对交通状况的影响可以在⽇常⽣活中观察到。暴⾬可能会影响交通流量。⼤型⾳乐会或⾜球⽐赛会导致交通拥挤,影响周边交通状况。
为了应对上述挑战,⼈们提出了各种深度学习技术。本⽂主要研究交通领域的基于图的深度学习体系结构。在这些基于图的深度学习框架中,通常使⽤图神经⽹络(GNNs)对交通⽹络的空间依赖性进⾏建模。交通数据的时间依赖性⼀般采⽤循环神经⽹络(RNNs)和时间卷积⽹络(TCN)建模。rnn和多层感知器(MLPs)通常⽤于处理外部因素。序列到序列(Sequence to Sequence, Seq2Seq)模型通常⽤于多步流量预测。这些技术与其他技巧(如门控机制、注意机制)有机地结合在⼀起,提⾼了预测的准确性。
3. 问题问题公式化和图的构造
在我们所研究的基于图的深度学习交通⽂献中,⼤部分任务(超过80%)属于5个时空预测问题,特别是交通状态预测和出⾏需求预测。在本节中,我们⾸先列出常⽤的符号。在此基础上,总结了交通领域
基于图的时空预测的⼀般公式。我们提供了从各种交通数据集构造图的细节。我们还讨论了邻接矩阵的多种定义,它代表了基于图的交通⽹络的拓扑结构,是基于图的解决⽅案的关键元素。
因为符号不好写就不往上贴了
符号
基于图的时空预测
从交通数据集构建图
交通数据集⼜有以下⼏个分类
传感器数据: 交通测量数据(例如交通速度)通常由北京[92]、加利福尼亚[71]、洛杉矶[70]、纽约[99]、费城[106]、西雅图
[94]、厦门[98]和华盛顿[106]等⼤城市道路⽹络上的传感器(例如环路探测器、探测器)在很短的时间间隔内收集。传感器数据集
是现有⼯作中最流⾏的数据集,特别是来⾃加利福尼亚州的PEMS数据集。⼀般来说,道路⽹络包含传感器、道路段等交通对象。
GPS数据: GPS轨迹数据集通常由⼀个城市在⼀段时间内的出租车数量⽣成,例如北京[68]、成都[68]、深圳[93]、科隆[95]和芝加哥[100]。每辆出租车每天都会提供⼤量的GPS记录,包括时间、位置和速度信息。每⼀个GPS记录都被安装在城市道路地图上最近的道路上。所有道路通过道路交叉⼝被划分为多个道路段。
⽹约车数据: 这些数据集记录了北京[89]、[101]、成都[101]、上海[89]、曼哈顿、纽约[99]等城市⼀段时间内的汽车/出租车/⾃⾏车需求订单。将拥有OpenStreetMap的⽬标城市划分为⼤⼩相等的⽹格区域(如图5所⽰),每个区域被定义为图中的⼀个节点。每个节点的特征是在给定的时间间隔内对应区域内的订单数。
交易数据: 这些数据集是通过部署在地铁、公交等公共交通⽹络中的⾃动收费系统(AFC)收集的。[77],[78],[111]构建了地铁图。将地铁系统中的每个站点视为⼀个节点。⼀个车站的特征通常包括在给定的时间间隔内,从该站出发的乘客⼈数和到达该站的乘客⼈数。这些数据是根据地铁afc系统收集的交易记录得出的。
邻接矩阵结构
固定矩阵: 许多研究假定节点间的相关性是固定的,不会随时间⽽改变。因此,设计了⼀个固定的矩阵,并在整个实验过程中保持不变。研究⼈员设计了各种固定的邻接矩阵来捕捉交通图中节点之间的
盛夏晚晴天晚晴身世
各种预定义关联,如函数相似度和交通连通度[89]、语义连接[101]、时间相似度[71]。这⾥,我们介绍⼏种常⽤的邻接矩阵。
连接矩阵:度量节点之间的连通性。矩阵中的⼊⼝值定义为1 (有连接)或0 (⽆连接)。
距离矩阵:根据⼏何距离度量节点之间的紧密程度。
功能相似矩阵:衡量两个节点在功能⽅⾯是否相似(例如,它们都是业务区域)。对应的功能相似性图如图5所⽰。它假设共享
相似功能的区域可能具有相似的需求模式[89]。边是在具有相似周边POIs(兴趣点)的区域之间构造的。
交通连接矩阵:衡量地理位置遥远但可通过⾼速公路、⾼速公路或地铁⽅便到达的地区之间的相关性。相应的交通连通图如图
5。
动态矩阵: ⼀些研究认为,由于先验知识的缺陷或数据的不完全,预先定义的矩阵不⼀定反映节点之间的真实依赖关系[72]。提出了⼀种新的⾃适应矩阵,并通过数据进⾏学习。[102]、[72]、[99]的实验证明,⾃适应矩阵可以更精确地捕捉某些交通任务中隐藏的空间依赖性。
进化矩阵: 在某些情况下,随着时间的推移,图的结构可能会发⽣变化,因为⼀些边可能会变得不可⽤,⽐如道路拥堵或封闭,在缓解拥堵后⼜会重新可⽤。演化的拓扑结构[66] [114]被纳⼊模型中,以捕捉这种动态的空间变化。
4. 在交通领域⽤深度学习技术
图神经⽹络: 谱图卷积(SGC)、扩散图卷积(DGC)。
许多交通作品,如地铁⽹络、道路⽹络,都是⾃然的图结构(见第四节)。与以往将交通⽹络建模为⽹格的作品[131]、[132]相⽐,将交通⽹络建模为图的作品能够充分利⽤空间信息。⽬前,许多研究都是直接在交通图上进⾏卷积运算,以捕获复杂的交通数据空间依赖性。其中⼤部分采⽤谱图卷积,也有部分采⽤扩散图卷积[112]、[108]、[100]、[102]、[96]、[118]。还有⼀些基于图的深度学习技术,如graph attention network (GAT)[119],[107],[98],[104],张量分解和在图上的补全[78]等,但相关⼯作较少,这可能是未来的研究⽅向。SGC和DGC的主要区别在于它们的矩阵代表了对交通⽹络空间相关性的不同假设。SGC中的邻接矩阵推断出图中的中⼼节点与其邻接节点之间的相关性强于其他距离节点[89],[70]。DGC中的状态转移矩阵表明,空间依赖关系是随机的,取决于重启概率,是动态的,⽽不是固定的。交通流与交通图上的扩散过程相关,以模拟其动态空间关联。此外,DGC中的双向扩散使模型更灵活地捕捉上下游流量的影响[108]。总之,DGC⽐SGC更复杂。DGC可以⽤于对称或⾮对称流量⽹络图,⽽SGC只能⽤于处理对称流量图。
循环神经⽹络: RNN,、LSTM、 GRU