新闻资讯

面向业务场景的敏捷数据治理(下)

面向业务场景的敏捷数据治理(上)

在上一篇里我们讨论了敏捷思想在数据治理上的洞察与实践,本篇我们回归在顶层设计的角度,看看数据治理中的数据架构与数据模型管控。

多人交互、协作的敏捷数据服务可以快速展现短期收益,但另一方面这种方式会导致碎片化,形不成体系,数据资产仍然无法得到有效利用。难以发现各业务域之间的关联关系及数据流转。所以我们在Roadmap的规划中要考虑顶层设计、管理预期、发现依赖关系、防止数据资产碎片化,从数据资产角度尤其是数据模型的设计。

数据治理.jpg


架构就像建筑的图纸,在设计阶段、建设阶段、维护阶段都是不可或缺的。针对数据最重要的就是数据模型(ER图)。


数据治理.jpg



三、数据模型
数据的关系错综复杂,成千上万个表通过各种关系或约束互联形成复杂的结构。没有数据模型很难看到现有数据库的结构、理解关键的概念。数据模型由三层构成,概念模型/逻辑模型/物理模型:


3.jpg


从数据管理的角度要对数据模型进行管控,继而达到事前治理的效果。


数据治理.jpg

数据治理.jpg

数据治理.jpg


这样从开发团队设计阶段,到上线前的数据模型评审,到上线后的监控通过统一流程打通了,形成从开发态到生产态的闭环。


7.jpg



四、数据管理新趋势
今年Gartner在多个报告中谈到数据管理的两大新趋势:


数据治理.jpg



未来无论数据是在本地、云端、某个设备感应器上或任何地方,我们都可以在数据保留在原地的情况下,将它们关联起来,而无须采集到特定地方。在未来增强式的数据管理的环境中,自动发掘数据、透过机器自动意识识别数据中的价值、认定有价值的数据、分析数据、自动采用适合数据的安全措施、分享数据、优化数据。最终实现在最短时间内将精准的数据发送给对的人,对于企业机构至关重要。
即下图由左到右的过程,采集元数据后,通过数据的使用场景及机器学习发现数据之间的关联关系,最终形成数据资产知识图谱。


数据治理.jpg



下图是datablau数据资产目录的搜索界面,企业使用时可以根据数据资产的相关性,智能搜索推荐报表、指标、数据标准、物理表/字段等数据,快速得到所需信息。


数据治理.jpg



五、多部门协作
上篇和本篇谈了平衡长期投资和短期收益,架构设计与敏捷数据服务之间的关系。从组织架构上看,这里涉及多部门协作的问题。
如下图,我们假设企业里业务部门有1000人,通常IT研发部门有200人,大数据部门40人,而数据治理常常只有4个人。而数据相关的各种问题都指向数据治理部门。业务部门常常抱怨数据需求得不到及时的服务。而IT研发不断升级和上线业务系统导致需要盘点的系统不断增加,形成恶性循环。大数据部门也常常将业务系统的OLTP数据直接拉到数据湖中,没有管控好的数据直接进湖,数据湖就变成了数据沼泽,数据进去就出不来了。


数据治理.jpg


数据治理是多部门协作、众筹的数据治理,不单单是一两个部门的工作。数据治理部门与IT研发部门合作在事前数据模型管控,在源头做数据标准落标,数据生产规范化。与大数据部门合作,发布数据资产目录及数据服务给业务部门。同时鼓励业务部门使用数据资产目录获取数据服务,并提供反馈。形成多部门协作,不断沉淀数据资产的良性生态。


数据治理.jpg


Datablau的数据治理解决方案针对上面三种场景的三个产品线:


数据模型工具及模型管控平台,IT研发数据生产规范化。

数据资产管理平台,数据资产智能盘点。

数据资产目录平台,数据治理的价值输出,敏捷数据服务。


数据治理.jpg


关于Datablau

Datablau创建于2016年,核心创始和研发团队全部来自于原CA erwin,天然具有世界级产品厂商的血缘和水准,是国内数据治理的第一品牌。依托多年的行业积累和技术沉淀,Datablau在产品设计层面充分发挥了后天优势,实现了集数据建模、数据目录、数据质量和数据准备为一体的企业级数据治理平台,全面满足企业对于数据治理的客观需求。

目前Datablau在嘉实基金、中国人寿、国电大渡河和四川航空等大型客户得到实际应用并深受好评,客户范围已经覆盖到银行、保险、制造业和能源行业等核心领域,Datablau已成为企 业数据治理领域的领导厂商。


数据治理.jpg


推荐阅读 查看更多