新闻资讯

什么是数据标准,如何做好数据标准管理?

大数据时代,数据治理已尤为重要,而数据标准是做好数据治理的基础,做好数据标准治理能给公司带来很多益处。

数据标准.jpg

一、什么是数据标准管理?
1.定义
数据标准是指企业为保障数据的内外部使用和交换的一致性和准确性而制定的规范性约束。而数据标准管理则是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化。

2.目标
数据标准管理的目标是通过统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现数据的完整性、有效性、一致性、规范性、开放性和共享性管理,为数据资产管理提供经管理依据。


对于大多数企业而言,他们已有各种各样的信息规范,如建模规范,但是这些规范只是为了约束开发工作,更多的时候强调的是数据字典表达的规范。而企业级数据标准的目标却是使企业内部在业务和数据上达成共识,业务共识在先,数据共识在后。从一个IT管理的数据规范变成企业级的数据标准,将是非常大的转变,这个转变的核心是以数据标准提高业务的规范性和业务协同能力,同时约束IT系统建设。

二、为什么要做好数据标准管理?
数据标准管理是规范数据标准的制定和实施的一系列活动,是数据资产管理的核心活动之一,对于政府和企业提升数据质量、厘清数据构成、打通数据孤岛、加快数据流通、释放数据价值有着至关重要的作用。

可以说,数据标准是数据管理的基础性工作,是数据管理建设中的首要环节,具体主要体现在以下几个方面:
(1)数据标准为数据平台提供统一的数据标准定义和平台逻辑模型;
(2)数据标准是数据平台进行数据治理的依据和根本;
(3)数据标准是衡量数据平台数据资产运营和管理的评估依据;
(4)需要通过数据标准管理的实施,实现对数据平台全网数据的统一运营管理。

三、建设数据标准体系必备的前提条件
1.构建数据标准管理组织
数据标准体系建设需要得到企业高层的重视和支持,更需要企业的所有部门共同参与。形成高层决策、数据标准管理部门统筹、各部门参与的数据标准管理的长效机制。其中高层是数据标准化工作的最高决策机构,数据标准化工作小组负责组织推动企业数据标准化工作。

2.制定数据标准管理制度
制定相关数据标准管理办法、细则等,从制度层面明确了标准化中相关方的职责,建立了数据标准制定与分布、落地执行流程、变更与复审机制,使数据标准在机制上得到保障。

四、数据标准规范包含哪些项目?
数据标准由业务标准、技术标准和管理标准组成。例如:数据项的业务定义、业务规则、质量规则为该数据的业务标准;数据项的名称、编码、类型、长度等为该数据的技术标准;数据的管理流程、管理部门、管理人员为该数据的管理标准。

1.业务标准规范
通过对实体数据的标准化定义,解决了数据不一致、不完整、不准确等问题,通知数据的内容范围需要核定,主要和业务强关联,由基础指标和计算指标标准组成,具有特定的业务含义。

2.技术标准规范
数据范围规范工作完成之后,需要对数据的编码规则、命名规则进行规范,主要包括数据源、数据项、逻辑模型标准、物理模型标准、元数据、公共码值标准等;

3.管理标准规范
数据标准管理是一个涉及范围广、业务复杂、数据繁杂的工程。数据标准管理绝非是一个部门的事情,不能在企业的单一部门得到解决。数据管理制度章程是确保对标准数据管理进行有效实施的认责制度。建立标准数据管理制度和流程体系是需要明确标准数据的归口部门和岗位,明确各岗位职责,明确每个标准数据的申请、审批、变更、共享的流程。需要从整个组织考虑,建立专业的数据管理组织体系,明确数据标准工作的目标和内容,并监督及考核数据标准的贯彻与执行。

五、如何做好数据标准管理?
1.包含哪些内容?
在数据管理部门进行针对各种数据项的标准化过程中,结合实际工作情况,一般可以将标准规范分为两类,一种是基础数据标准,一种是指标数据标准,以两类细分规范来进行更进一步的管理,为后续的各种数据管理工作提供便利。

(1)基础类数据标准
基础类数据标准通过各种业务处理产生或各类渠道采集的基础性数据,在范围内必须是唯一定义的,如“统一社会信用代码”、“归属地市”等。基础类数据标准分为行业参考模型实体标准和公共代码标准。

(2)指标类数据标准
指标类数据标准是数据基础上按照一定业务规则加工汇总的数据,如宏观经济指标数据。指标类数据又可分为基础指标和计算指标。基础指标一般不含维度信息,且具有特定业务和经济含义。计算指标通常由两个以上基础指标计算出。

基础数据标准和指标数标准根据各自业务主题进行细分,应尽可能涵盖企业的主要业务,并且覆盖企业生产系统中产生的所有业务数据。


2.数据标准的梳理
众所周知,建设一个业务系统实际上是将企业或者行业的运作机制IT化和系统化的过程,需要从梳理业务流程和管理流程开始。类似的,建设数据标准就是将数据的表达和使用,统一和系统化的过程。而在这个过程中,首先就要梳理数据产生和应用的全部范围。对企业来说,这意味着数据标准的建立需要从盘点企业内部全部生产系统中的数据开始。

数据标准涉及到的实体对象存在很多,为了方便建设和记忆,往往采用的是顶层设计的梳理方法:
(1)首先构建数据标准的主题域,厘清数据主题域之间的逻辑关系;
(2)再逐级分解,定义各个主题域下的重要实体和实体间关系;
(3)最后定义每个实体中的标准信息项,包括业务含义、质量规则、安全级别、值域范围、代码集等内容。

数据标准的建设并不难掌握,关键是建设过程中需要收集并整理大量的业务规范、制定章程、法律法规、监管规定、国家标准,并将这些规定具象到数据标准定义的信息项中。对于一个从未做过数据标准的实施团队而言,这将意味着巨大的工作量。

六、数据标准建设中的注意事项
(1)数据标准统一规划。以数据资产管理需求为导向,结合数据标准规范指导内容,构建适应数据平台的数据标准体系,并制定数据标准实施方案。
(2)建立数据标准挂历的支撑体系。要求包括数据标准管理组织架构、数据标准管理办法和制度流程,以及数据标准管理支撑工具。
(3)注意数据平台中数据业务口径和技术口径有效协同统一问题
(4)要满足数据平台的平台化、产品化和数据资产运营的需求。
(5)需支持数据平台的数据接口标准化定义
(6)满足原有数据可逐步进行数据标准规范的迁移和统一。

推荐阅读 查看更多