数据库技术Database Tech n o l ogy
电子技术与软件工程
王辉杨锦山王阳
(中国电子科技集团公司电子科学研究院北京市100041)
摘要:本文针对某大型电子信息系统数据记录与回放子系统在数据回放过程中回放数据与真实数据存在时间拟合度较低问题,提出了基于异步时间戳的数据记录与回放系统的架构、系统设计原则及数据回放模型,设计并开发了基于异步时间戳的数据记录与回放系统,有效的解决了回放数据与真实数据之间时间拟合度较低的问题。
关键词:数据记录;数据回放;时间基准数据;异步时间戳
1前言
随着电子技术的迅猛发展,总线技术的不断扩充,传输速度增快,传输数据量增大,且同一系统中出现多
种类型总线共同工作的情况变得越来越常见。系统的复杂度越来越高,使得系统研发中对总线数据的记录分析成了必不可少的步骤⑴,做好系统总线数据的记录分析,对系统调试、故障诊断、故障定位、缩短维修时间等具有重要意义。因此,对数据记录、解析和回放等处理已经成了电子信息系统中较为重要的构件[2]0数据记录与回放能够完整的记录下整个任务的过程,并能够对过程中的每一个步骤进行准确的重新回放演示,其重要作用是能够在任务结束后对任务过程的每个流程、步骤进行分析,并能够对记录的信息数据进行全面深入的分析⑶。因此,设计并实现一种回放失真度较低的回放控制方法成为亟待解决的问题。2现状及问题描述
2.1现状
本文设计并实现的数据记录与回放系统是某大型电子信息系统的一个软件配置项,负责记录各个数据终端与服务器之间以及数据终端之间交互的以太网数据,同时还包括视频、音频等流媒体数据。并可以将记录到数据文件中的数据再回放到数据终端。各个数据终端通过通信中间件进行数据交互(数据在传输时会被打上时间戳)的时候,同时会有一份同样的数据被转发到数据记录服务器上,数据记录软件接收到数据后,将数据存储在数据文件中。数据记录过程见图lo
如图2所示,在被记录的数据当中有一种特殊的数据:时间基准数据(用于同步系统内时间),数据间隔为Is。在进行数据回放的时候,以时间基准数据为基础,当一个时间基准数据从记录文件
图1为12家银行在8种指标组合下及平均的相对效率值排名。可以看出:招商银行、广发银行、浙商银行的平均效率及排名位于前列,平均排名分别为3.25、1.00、1.75,多种指标组合下其相对效率均位于头部,总体效益较好。
按银行类型看,多数商业银行关于8种评价指标组合的相对效率值都高于0.7,而五家国有银行的平均效益值仅为0.47,且商业银行指标DEA有效数量均高于国有银行,说明商业银行的投入及产出效益领先于国有银行。
具体到五大国有银行,产出不足方面,工商银行的债偿能力最差,在多种指标组合下债偿能力产出不足均位居首位。发展能力方面,五家银行的产出不足率也处于较高水平,说明应适当调整经营策略,保证利润增长。资产质量方面,五家银行的产出不足率几乎均为0,说明自2016年国家启动不良资产证券化以来各银行充分应用市场化债转股等手段提高自身资产质量⑴】,效果明显。
4结语
本文将DEA无需预设权重参数的优点与因子分析降维结合,选取多项投入产出指标对我国12家上市银行投入产出的相对效率进行评价,为银行改进资产配置策略、提高投资产出效率提供了思路。经研究得出以下结论:
(1)五家国有银行中工商银行综合效益最好,建设银行最差。在12家银行中,大多数商业银行运行效率高于国有银行,且新兴商业银行处于优秀水平;
(2)由于国有银行资产规模大、业务体量大等因素,存在投资冗余较高、投资回报率低等问题,且农业银行金融投资冗余严重;
(3)各银行资产质量普遍较好,证明我国不良资产证券化取得了阶段性成果。
针对上述问题,提出以下建议:
(1)针对国有银行投入冗余从效率方面入手进行机构合并、投资计划可行性分析;
(2)建立风险预警机制,对收益较差的金融投资等投入进行风险预测,优化信贷结构、投资配置M;
(3)鼓励效益较好的商业银行依托互联网等手段扩大业务规模、提高市场占有率。
参考文献
[1]Farrel1M J.The measurement of productive efficiency
[J].Journa1of the Roya1Stat ist ical Society,1957, (120A):125-281.
[2]魏权龄.评价相对有效性的方法[M].北京:人民出版社,1998,
6-131.
[3]郭梦雅.基于超效率DEA的广东省物流效率研究[D].深圳大
学,2017.
[4]Anderson T T,Ho Ilingsworth K B,Inman L B.The fixed
weight ing nature of a cross-evaluat ion model[J].Journal of Productivity Analysis,2002,18(1):249-255.
⑸杨国梁,刘文斌,郑海军.数据包络分析方法(DEA)综述[J].
系统工程学报,2013,28(06):840-860.
⑹董雷.我国上市商业银行竞争力的综合评价及影响因素研究
[D].河南财经政法大学,2020.
[7]杨秀猛,田丰.基于DEA模型的商业银行经营效率评价——以
我国19家上市商业银行为例[J].生产力研究,2020(05):28-30+35.
[8]张俊容,郭耀煌.评价指标与DEA有效的关系[J].系统工程
理论方法应用,2004(06):520-523.
⑼孙岩.基于DEA模型的钢铁行业财务绩效评价研究[D],华东
交通大学,2020.
[10]迟国泰,杨德,吴珊珊.基于DEA方法的中国商业银行综合
效率的研究[J].中国管理科学,2006(05):52-61.
[11]王晓晨.信贷资产证券化对我国商业银行风险承担的影响研
究[D].华东师范大学,2020.
[12]毛俊涛.县级农商银行信贷资源配置对经营效益的影响分析
[D].华东交通大学,2019.
作者简介
张雨翔(2000-),重庆邮电大学软件工程学院本科生。
172
数据库技术
Database Technology
电子技术与软件工程
Electronic Technology & Software Engineering
图1:数据流图
• 记录文件中的任
记录文件中的时战敷据
敷据在记录文件中的分布
时戢数据时戢数据
• • •
据
时載数据时间何隔”
图2:数据记录示意图
休眠 t_sleep
时戢St 据时间间隔t_region
图3:数据回放过程
<}•作6J 工作战>
<®*B>
•作处」:作战〉-+-*
----------------I
图4:系统架构
中读取出来被发送出去后,逐条读取其后记录的数据并逐一发送, 直到读取到下一条时间基准数据,然后计算从发送上一条时间基准 数据到读取到本条时间基准数据所花费的时间,若时间小于Is,则 将回放程序休眠到时间消耗为Is,然后将本条时间基准数据发送出 去,如此迭代,直到数据文件结尾。数据回放过程见图3。
2.2问题
系统当前的回放模式并没有按照数据上时间戳的时序进行数据 回放发送,而是将记录在时间基准数据后的数据集中发送,这样的 回放模式导致数据回放与原始场景在时间上的拟合度较低。
数据回放是以时间基准数据为参照,在数据文件中时间基准数
据的频度是Is,这样的频度在与音频、视频文件一起同步回放的时 候,回放的网络数据与音视频数据无法在时间上同步,导致回放失
真。
3系统设计3. 1系统设计原则
基于异步时间戳的数据记录回放系统应象其他的软件系统一 样,首先应具备实用性、可靠性和易于维护性等特点。此外,系统 在设计开发过程中还应考虑与原有系统的集成问题,为此提出如下
设计原则14]:
3.1.1实用性和可靠性原则
系统的研发是依据某大型电子信息系统的实际需求,所以本系 统的设计和开发将实用、好用作为第一准则。数据对于本文中所提 及的电子信息系统的使用和未来建设有至关重要的作用,因此,系 统的可靠性要高。
3」.2通用性原则
作为一个实际的工程项目,面向用户需求开发,在确保系统性 能的前提下,要兼顾系统的通用性,避免同类型项目重复开发所造 成的人力资源浪费。
3.1.3集成与可扩展性原则
本文所设计实现的数据记录与回放系统作为某大型电子信息系 统的一个组成部分,除了要考虑系统的实用性和可靠性等问题,还 需要考虑与电子信息系统内部其他模块的集成问题,以及系统的可 扩展性。
3. 2系统开发及运行环境
数据记录与回放系统包括前台界面和后台服务两部分,采用
Client/Server (简称C/S )架构。这样有利于在前端开发一些复杂的
算法和模型,以增加系统功能应用效果。系统开发工具采用当前广 泛使用的Qt,开发语言为C 卄。系统运行环境为国产Linux 操作系统。
3. 3系统架构
数据记录与回放系统的主要功能是记录数据采集终端、业务服 务器发送的任务数据、状态数据、操作员工作站发送的控制命令等 以太网数据,及音频、视频等流媒体数据。同时提供各种数据的回
放功能。系统架构见图4。
3.4系统功能
(1) 任务数据记录:接收数据采集终端、后台业务服务器发
送的任务数据、状态数据,以及操作员工作站发送的控制命令等以 太网数据,并将数据记录到数据文件中;
(2) 音视频数据记录:接收来自操作员工作站发送的音频、
视频等流媒体数据并写入数据文件;
(3) 任务数据回放服务:接收操作员工作站发送的数据回放 控制命令及回放参数,并根据参数启动数据回放过程,同时判断是 否进行音频数据同步回放,若需要音频数据进行同步回放,则向音、 视频数据回放服务发送控制命令、回放参数,并发送时间同步数据:
(4) 音、视频数据回放服务:接收任务数据回放服务发送的 控制命令、参数,根据参数启动音频数据回放过程,并实时接收时 间同步数据,根据时间同步数据修正与任务数据回放的时间偏差; 接收操作员工作站发送的视频数据回放控制命令、回放参数,启动 视频数据回放程序;
(5) 数据回放控制:可查询已记录数据文件的记录开始时间、
结束时间。选定数据文件后,可设置该数据文件回放的起始时间、 回放速率、回放台位、是否音频同步回放;可控制数据回放过程的
开始、暂停/继续及结束。
3.5基于异步时间戳的数据记录回放方法
针对目前数据回放过程中的问题,本文提出了一种基于异步时 间戳的数据记录及回放方法。即,在数据记录过程中另外添加一个 以数据记录服务器本地时间为时间戳的异步时间戳数据,其周期为
500ms,并建立了基于此异步时间戳数据的回放模型,采用了一种
173
电子技术与软件工程
Electronic Technology & Software Engineering
数据库技术
Database Technology
10 1 3
1 6 1 9
2 2 25 2 8
3 J 34
3 7
4 0
4 3 4 6 4 9
5 2
5 5
5 8
6 1
6 4
6 7
70
7 3
7 6
7 9
8 2
85
8 8
9 1 94 9 7 1 00
■ ■齐分布
■ 1 U
1. 1 1. 1■ i 1 1
I |■ r .I
■ 1
.I.llllll
1 ntr ,II 1匸
1・1
ttz
T I .1
II
liil
Illi
III
n II L ..1 II
图5:实验结果
基于启发式的求解方法。本文建立的模型如下:
3.5.1符号说明:
(1) 下标:i 为两个时间戳消息之间记录消息的编号,匸1,2, ……,n ; j 为记录文件中两个时间戳消息及其之间记录消息所组成的 消息区域的编号,j=l,2, ,m 。
(2) 参数:MessageRegion :记录文件中两个时间戳消息 及其之间的记录消息所组成区域;MessageRegiorij :记录文件 中第 j 个 MessageRegion ; Tregionj : MessageRegionj 两个时间戳 消息的时间值之差;t_beginj : MessageRegionj 开始时间戳消息 的时间值;t endj : MessageRegio
nj 结束时间戳消息的时间值; SleepBeginj :发送MessageRegionj 开始时间戳消息之前休眠的时间; SleepEnd,:发送MessageRegionj 结束时间戳消息前休眠的时间; t_lastj : MessageRegionj 中最后一个记录消息的时间戳;t value^: MessageRegionj 中第i 个记录消息的时间戳;
(3) 变量:t sleepjj :发送MessageRegionj 中第i 个记录消息 前休眠的时间;t_opt Ji :读取MessageRegionj 中第i 个记录消息所消
耗的时间。
3.5.2数学模型:
根据问题描述以及上文定义的符号,建立如下数学模型:
Tregion / -,(/ value +Z_opt ) = 0
(1)Tregion t = 500
(2)t _ sleep j : > 0
王晓晨(3)
t value -t value,
t sleep = <
_ value ”-t _value -1 _opt n
其他
(4)
(畑 _f
j=\
~
八](/ _ value- t _ last 「J - SleepEnd : }-t _ opt }其他
(5)SleepEnd t =(心” -)-工(r _ sleep, +1 _ o 叫)
j=i
(6)
f 0 j = 1
SleepBegm,=&epE ”d 「養他
(7)
模型为实数范围内的规划问题,式(1)为目标函数,式(2)、(3) 为取值约束,式(4) (5) (6) (7)为消息区域内记录消息发送 前休眠时间的取值约束。
3.5.3异步时间戳数据频次的选择:
本文设计并实现的基于异步时间戳的数据记录回放方法中的关
键参数是异步时间戳的频次,文中其值选取为500ms,其原因为: 在本文方法的设计实现过程中,曾将异步时间戳的频次依次选取为
500ms 、200ms 和100ms 分别进行了实验。实验结果表明,随着时
间戳数据频次的增加,因记录时间戳数据所占用的磁盘空间大大增 加。使得本人所描述的系统无法满足
系统总体给的指标要求;另外 在数据回放过程中时间戳数据将要作为基准数据进行网络传输,因 此高频次的时间戳数据会增加其处理的时间,从而对回放过程产生 影响。综上所述,在综合考虑系统的各个性能指标后,将时间基准 数据的频次确定为500mso
4实验验证
本文使用某电子信息系统实际记录的数据文件,利用数据回放 软件对该数据文件进行回放,并使用本文中的方法进行记录,重新 生成记录文件,继而采用系统原回放方法和本文中的方法对重新生 成的文件进行数据回放,实验结果如图5所示。从图中的结果可以 看出,本文中提出的数据记录与回放方法在时间拟合度上要远远好 于系统原方法。图中纵向坐标轴代表数据数量,横向坐标轴表示时 序。
5结语
本文建立了基于异步时间戳的电子信息系统数据记录与回放系 统的体系结构。系统采用数据集成技术、模型技术,建立了一个精
度较高的数据记录回放系统。系统的研发不仅提高了数据回放场景 的真实率,而且为数据回放过程中对当时场景的复盘分析提供了有 效的支撑。
参考文献
[1] 张展鹏.多总线数据记录与回放系统研究与设计[D].南京:
南京理工大学,2017.
[2] 曾竟.一种高可靠性空管雷达数据记录回放系统的设计与实现
[D],成都:电子科技大学,2011.
[3] 宫斌.一种基于数据持久化的电子对抗系统数据记录与回放设
计[J].舰船电子对抗, 2019 (3):68-69.
[4] 王辉,俞胜平等.面向MES 的钢铁烧结生产原料供应调度系统
【J].计算机应用与软件, 2012 (2):207-209.作者简介
王辉(1982-),男,辽宁省沈阳市人。硕士学位,工程师。研究 方向为网络通信、中间件、数据记录与回放。
杨锦山(1986-),男,山西省朔州市平鲁区人。硕士学位,高工。 研究方向为信息系统的软件设计与集成。
王阳(1986-),男,江苏省连云港市人。硕士研究生,高级工程师。 研究方向为分布式系统架构。
174
发布评论