新闻资讯

如何在数据治理中让数据质量更好?

数据分析、数据挖掘等各种数据应用都离不开数据质量,数据质量的重要性不用多表。今天来浅谈如何通过数据治理,来保证数据质量。数据的生命周期往往会有以下4个过程:数据的产生、存储、加工和应用。 数据质量在这四个环节均会产生,所以需要有不同的手段。


数据质量


1、数据产生阶段
这个阶段是数据质量问题的重灾区,无论是手工录入的数据,还是生产系统产生的数据,都会因为各种原因导致数据质量问题,比如手抖输错、生产系统波动等。对于这个阶段的问题,我们对应的手段是:控制输入

对于手动录入的数据,尽可能的使用非开放式的输入手段,如下拉菜单、单复选框、时间控件、标签(支持自定义学习型)等,必须开放的输入部分,进行必要的及时校验。另外在数据进入系统前,可以设立监控点,出现错误数据可以及时预警(邮件、信息手段进行通知)。

2、数据存储阶段

方法:数据统一及数据清洗

在数据仓库或数据中心建立时,就按照数据标准对关键字段进行统一命名、格式、精度等,排除数据的歧义。对于已经存储在数仓中的数据,发现质量问题,就得使用数据质量管控工具了。


3、数据加工阶段的质量管控手段

方法:数据质量管理工具

这个阶段的数据会经历很多过程,比如被引用,指标计算,从ODS层到集市层等,通过人力来管理的话,人力成本太高了。

4、数据应用阶段的质量管理手段

数据使用阶段还需要质量管理?是的,无论是在数据分析还是数据挖掘之后,结果自然是要保存下来的,此时的数据仍然要按照标准,进行规范的管理,无论是存储结果的表名,还是字段、格式等。此外,在数据分析、挖掘的时候,也会有新的数据产生,此时依然需要进行标准化之后进行统一管理。有新的数据质量问题产生,仍然需要想应的数据清洗工具进行清洗后再保存。


(内容转载自网络,如有侵权联系可删)

推荐阅读 查看更多