技术< TECHNOLOGY
D O I : 10.13439/j ki .itsc .2021.02.017高速查询
高速公路“两客一危”管理系统
张海燕
(广东飞达交通工程有限公司,广东广州510663)
摘要:“两客一危”车辆的管控对于重大交通事敁的防控有着非常重要的意义。随着我国经济的快速发展,交通运输量曰益增长,高速公路
管理者需要一个精准、易用、稳定的“两客一危”管理系统。本文介绍了一套针对高速公路运营的“两客一危”管理系统,并对其原理和架构做 了阐述。
关键词:两客一危;管理;系统;架构
本文提出一套针对高速公路运营的“两客一危”管理系统。 系统使用的数据来自“两客一危”车载GPS 定时上报数据,这些 数据经过层层上报,最后汇总到数据中心。系统从数据中心接入 这些数据,并从中筛选出高速管理者需要管理的高速路段行驶车 辆的数据,然后通过多沖渠道和方式向用户展示。
一、系统需解决的问题
可靠地运行。
为解决上述问题,本系统采用高并发、负载均衡等技术解决 性能与可靠性的问题,可以稳定高效地接入并处理和筛选数据。 采用分布式和模块化等技术解决用户需求多样化的问题,将经过 筛选后的数据通过多种渠道、多沖途径、多沖形式提供给不同类 型用户,既可以给企业用户订阅做二次开发,也可以直接在PC 浏 览器、APP 、小程序上进行实时监控及历史轨迹等功能的展示。
实现数据接入和筛选功能,系统要面临以下问题。
(1)数据量大。车载GPS 数据几十秒上报一次,而广东省 “两客一危”车辆就达到了百万级。
(2 )运算量大。从广东全省的车辆上报数据中筛选出高速 路段上行驶的车辆,需要判断每一条上报消息中的GPS 坐标是否 在高速路段的电子围栏之内。而一条高速路段的电子围栏往往有 数千个坐标点,因此每一条上报消息的运算量都比较大。
(3 )在信息化高度发展的今天如何解决用户多样化的需求。(4 )有效节省硬件性能,降低对运行环境的要求。(5)在数据量、运算量巨大的情况下,如何保证系统稳定
二、系统架构及原理
系统架构包含数据接入模块、处理模块、转发模块、数据存 储模块、接口服务模块。分别实现从数据中心高速地接收数据、 高效率计算电子围栏并筛选、将数据分发给目标用户、数据存 储、数据接口服务等功能。各模块都为单独进程,可灵活地根据 硬件性能分布情况和业务量的大小分开部署在不同服务器上或部 署在同一服务器上。模块与模块之间使用Kafka 消息队列进行通 信,实现了松耦合。系统原理示意如图1所示。以下将按模块分别 洋细介绍系统的功能及实现方式。
图1
系统原理示意图
C H IN A IT S J O U R N A L V o l.253 N o.02 2021
2021年第02期(总第253期)丨中国交通信息化
131
s ^m xw ^
l 的沒
程
平齡发
K afka 消瓢列嚴务
接口银务模块
■
1
…
…._……’_.…W )
_
ttsm sf 进程1
处理酿进程2
jt a w *进程3
程4 •
多进 a ®fet 5«S 2图2处理模块模型示意图
(一〉数据接入模块数据接入模块使用Netty 技术通过TCP 协议从数据中心逐条获 取车辆上报数据。N etty 是一个开源的,基于Java NI 0的异步事 件驱动的网络应用框架,优点是吞吐量大、通信延迟低、系统 资源消耗少。经测试,
一
台四核CPU 的普通电脑,每秒钟可完成
五千到两万次消息的收发。如此强大的性能,足以解决本系统所 面临的全省“两客一危”车辆数据总量大、并发量高的问题。
为保证数据不延迟、不丢失,数据接入模块不对数据做任何 处理,每通过TCP 收到一条车辆上报数据,就通过Kafka 消息传递 给数据处理模块。
Kafka 是一个开源的分布式发布订阅消息系统,可以大量地
缓存消息,保证数据的不丢失,并通过0 (1)复杂度寻址的磁盘 数据结构提供消息的持久化,这种结构对于TB 级的消息存储也能 够保持长时间的稳定性能。同时,基于高吞吐量的特性,即使是 非常普通的硬件Kafka 也可以支持每秒数百万的消息。
(二)处理模块
处理模块的工作就是从Kafka 消息队列中顺序取出消息,根 据消息里的车辆信息、告警信息、坐标等,进行计算处理,鉴别 出车辆、车辆状态以及车辆是否在高速路段上行驶、在哪条高速 路段上行驶等,并将原始数据和处理结果通过Kafka 分别发送给 存储模块和展示模块。同时,将其他企业用户需要订阅的数据通 过Kafka 发送给转发模块,再由转发模块发送出去。
由于车辆上报数据量大,每秒可能有数千条,每条数据都要 做多个路段电子围栏的判断,每个路段电子
围栏的点位都数以千 计,所以本模块的运算量很大。因此,处理模块既是本系统功能 的核心,也是性能稳定的关键,为保证系统稳定、高效运行,本 模块除了需要配备运算性能优异的服务器外,还使用了多进程负 载均衡+多线程并发的架构。
多进程负载均衡:同时运行多个相同的处理模块程序,
Kafka 把所有的消息平均分发给所有运行中的进程。这样做的好
处是每个进程只处理一部分数据,即使有某个进程故障,Kafka
会自动继续把消息平均分配给剩余的正在运行的进程,以保证系 统的稳定性。
多线程并发:采用线程池技术,每个进程启动100 ~ 200个 线程,每个线程同一时间处理一条消息。每个进程可同时计算 100 ~ 300条上报数据。这样可以充分发挥硬件性能。
通过多进程和多线程的架构保证了接入模块通过Kafka 发送过 来的数据能够及时地得到处理,实现了处理模块的稳定和高效。
处理模块模型示意如图2所示。(三) 转发模块
转发模块采用的是前述接入模块使用的Java 的Netty 技术。从
Kafka 接收处理模块筛选好的,企业用户需要订阅的数据。使用 TCPt 办议提供外部服务。
(四) 数据存储模块
数据存储模块采用关系型和非关系型两类数据库存储数据。 初始化高速路段信息、高速电子围栏等基础数据可供其他模块查 询使用,并在运行期间从Kafka 接收处理模块发送的两类信息进行存储。
一类信息是未经处理的所有车辆上报的原始数据。这类数 据具有数据量大,常发生误报、迟报等特点,但包含的信息也最为 丰富,因此采用mongodb /hbase 等适合超大规模数据的非关系型 数据库进行存储。车辆上报的数据都包含了坐标,这些数据既可 以直接作为车辆轨迹回放的查询依据,也可以引入大数据处理功 能,对数据进一步处理做轨迹修正、状态归并、数据挖掘等工作。
另一类信息是经处理模块进行电子围栏归属计算后,显示正 行驶于高速路段上的车辆信息。这类信息归属于某一高速路段, 可做为结构化的数据存入mysql /orade 等关系型数据库,并与高 速路段相关联,供展示模块实现实时位置定位等相关功能。
(五〉展示模块
展示模块为一个或多个Web 服务器,负责给前端(浏览器、 小程序/APP )提供接口。既被动地接受前端的请求,从数据库 中查询在线车辆及历史轨迹,又可实时从Kafka 接收处理模块发
(下转第134页>
技术< TECHNOLOGY
要,对应用功能进行合理化划分,实现系统有效集成和信息共 享。应用层全生命周期应用可分为设计、建设、管理、养护、运 营5个阶段。
8、运营保障体系
运营保障体系包括三部分,根据业务流程及管理规定,应建 立运行管理体系、安全保障体系和标准规范体系。
(三)预期效果
1、基础设施数字化
利用GIS+BIM技术或激光雷达(LiDAR)技术,构建高速公 路数字三维模型,构建动静态数据结合具有逻辑关系的基础设施 信息库,实现基础设施质量、安全检查信息的数字化、可视化查 询,助力“数字交通”建设。
2、感知领域全息化
在传统交通工程及沿线设施工程的基础上,基于卫星通信技 术及云端多场耦合在线仿真分析技术、边-云计算技术等,实现 从“点”信息收集到整体分析预判的跨越。构建经济可行性、高 解析度、“人、车、路、云、环境”多维全覆盖的感知系统,通 过多源感知数据信息融合,扩大感知范围,增加感知内容,提高 感知精度,实现全面、智能、多维感知与监测。
3、数据中心云端化
从智慧管理、智慧服务角度出发,以路网运行综合监管和智 慧服务为导向,综合运用云技术、大数据、边-云计算等技术手 段,构建云上数据中心,实现高速业务场景的人、车、路、环境 的数据收集、数据综合使用和数据智能应用,实现对交通个体行 为、体行为、宏观状态的精准分析,并通过数据智能应用破解 高速公路管理难题,为社会公众出行提供个性化服务。
4、出行服务精准化
凭借高速公路规划设计、建设、管理及资产等方面优势与国 内外领先的出行服务商形成战略合作.共同研发面向高速公路出 行用户的连续性告知、强时序导航、个性化定制的综合信息服务 系统。基于卫星导航技术,为社会车辆及管养车辆提供精准化定 位服务,满足不同用户的个性化出行要求。
三、结束语
高速公路运营企业应在充分评估自身业务需求的基础上,围绕全生命周期建、管、养的一体化目标,从实际出发,整合资源,制定适合自身业务的智慧高速解决方案,促进企业转型升级,为 新一代国家交通控制网和智慧公路融合创新发展提供动能。
g j责任编辑:刘睿健
(上接第131页)
<;实时删
图3展示模块
送的最新消息,主动通知前端及时更新车辆实时位置、告警状态 等。展示模块如图3所示。
总结
本系统模块布局灵活,适应性和稳定性强。在关键的数据处理模块中采用了多进程、多线程的分布式技术,能够部署在单台 或多台服务器上,充分发挥硬件性能;采用了负载均衡技术,可 在一部分进程发生故障的情况下由其他进程自动平分计算任务,从而不影响系统的功能。在功能上可以为不同用户提供不同类型 的服务,满足了用户多样化的需求,能稳定地为用户提供“两客 一危”信息。
g
贵任编辑.刘睿健
发布评论