今天,领先的数字原生企业不断用数字化手段颠覆传统行业,传统行业内领先的企业也在积极拥抱数字化,国家也适时的将“数据”列为生产要素参与分配,推动了以数据为关键要素的数字经济进入了新时代。站在企业内运营后台的运维部门,运维属于数据密集型工作,团队的价值创造都是在运维数字化工作空间中运作。
在运维数字化工作空间中,运维利用各种代理,将人与机器、软件系统连接在一起,通过线上化的运维流程或规程将参与者的运维协同形成连接,再基于“组织、流程、平台”能力组装连接成为运维场景,构成了运维的数字化工作空间。今天,如果运维失去了对运维数据的控制,运维连续性保障将失控,更谈不上提升IT服务质量、加快IT交付速度、辅助提升客户体验的价值创造。运维数字化空间与滴滴的出行数字化空间类似,滴滴用手机定位这个超级传感器,将乘客、司机、汽车三个参与者做了一次连接,通过数字地图将出发点,目的地、路况、路线图与参与者又做了一次连接,再通过实时的打车、坐车、评价、信用等运营模式做了连接,形成一个出行的数字化空间。
虽然我们正在运维的数字化工作空间中协同运作,但我们需要正视的是我们对运维数据的认
识及应用还处于皮毛,虽有理念但缺乏必要的、可执行的方法。随着运维数据平台的建设,将极有可能出现当前大数据领域出现的数据孤岛、数据不可用、数据质量不高、融合应用难、有数据不会用等诸多问题。上述问题,在当前运维领域资源投入不足显得尤其重要。如何借鉴大数据领域数据治理的经验,反思运维数据平台建设应该关注的问题,减少不必要的坑,做好运维数据治理,让运维数据更好用,用得更好,完善运维数字化工作空间,是本文的目的。
4.5.3.1 数据治理背景
从1997年“大数据”概念从NASA武器研究中心第一次提出,到2001年gartner提出大数据模型,到2004年google推出的大数据技术论文,到接下来大数据、人工智能、云计算等技术的广泛应用,再到今天数字时代,企业已逐渐了解数据所蕴含的价值,对数据的重视程度越来越高,投入大量资源进行大数据研发与应用。但我们必须承认,国内很多金融企业在大数据技术应用前并不是很重视数据治理,出现像投入大量资源建设大数据平台,但用的时候又发现报表不准、数据质量不高,导致项目没有达到预期效果的普遍性问题。上述问题促进企业反思,发现在数据从采集、存储、计算、使用过程中,少了数据管理的步骤,
即数据治理缺失。今天,数据治理已经被企业广泛认可为必要的基础性工作,以下整理一下数据治理所要解决的痛点:
首先,信息孤岛,有数不能用。数据孤岛可能存在掌握数据的人主观上不愿意共享,也有客观上担心数据共享存在敏感性问题,或数据与数据关联性不够导致不能有效连接。
第二,数据质量不高,有数不好用。没有统一的数据标准导致数据难以集成和统一,没有质量控制导致海量数据因质量过低而难以被利用,没有能有效管理整个大数据平台的管理流程。
第三,数据不可知,有数不会用。不知道数据平台中有哪些数据,也不知道这些数据和业务的关系是什么,不知道平台中有没有能解决自己所面临业务问题的关键数据。
第四,数据服务不够,有数据不可取。用户即使知道自己业务所需要的是哪些数据,也不能便捷自助地拿到数据,相反,获取数据需要很长的开发过程,导致业务分析的需求难以被快速满足,而在数字时代,业务追求的是针对某个业务问题的快速分析。
在运维领域,运维数据分布在大量的机器、软件、“监管控析”工具软件上,除了上面大数据
领域提到的信息孤岛、质量不高、数据不可知、数据服务不够的痛点外,运维数据还有以下突出痛点:
怎么做数据分析资源投入不够:从组织定位看,运维属于企业后台中的后台部门,所做的事甚至都很难让IT条线的产品、项目、开发明白“系统架构越来越复杂、迭代频率越来越高、外部环境严峻等等需要持续性的运维投入”,更不要说让IT条线以外部门理解你在做的事,在运维的资源投入通常是不够的。所以,运维数据体系建设要强调投入产出比,在有限的资源投入下,收获更多数据价值。
数据标准化比例低:运维数据主要包括监控、日志、性能、配置、流程、应用运行数据。除了统一监控报警、配置、机器日志、ITIL里的几大流程的数据格式是相关标准,其它数据存在格式众多、非结构化、实时性要求高、海量数据、采集方式复杂等特点,可以说运维源数据天生就是非标准的,要在“资源投入不够”的背景下,采用业务大数据的运作模式比较困难。
缺乏成熟的方法:虽然行业也提出了ITOA、dataOps、AIOps的运维数据分析应用的思路,但是却缺少一些成熟、全面的数据建模、分析、应用的方法,主流的运维数据方案目
前主要围绕监控、应急领域探索。