新闻资讯

数据架构与数据模型

数据架构与数据模型两者关系经常是讨论的热点。因为数据架构里面主要工作和产物就是数据建模和数据模型,那为什么要将两者作为独立的两个过程域。本文将对此问题进行探讨。


在《数据管理知识手册》(DMBOK 2)的第二版中,数据架构定义为管理数据资产的蓝图。从广义上讲,数据架构会定义,我们作为一家企业要做什么数字化业务?最适合该目的的技术是什么,以及它们如何协同工作?


数据架构.jpg


另一方面,数据架构是企业架构(Enterprise Architecture)的一部分。企业架构从更宏观的视角看待业务和IT,包括业务流程,业务组织架构和业务目标。这对数据架构以及安全性和合规性都很重要。数据架构还需要决策哪个最佳平台是适合当前业务目标的,是否迁移到基于云的解决方案,产品业务相关的安全风险,以及数据库的选择。


数据架构.jpg



在许多公司数据化转型中,要做的第一件事就是绘制其现有架构图。数据的独特之处在于它既是业务角色,又是技术角色。有的数据架构师只专注于平台和IT角色,他们的权限仅限于技术层面的决策,例如要使用哪种服务器或备份和恢复选项。但真正的架构师必须也要对业务熟悉,像首席数据官一样。


当企业的数据需求超过IT部门满足这些需求的能力时,IT部门可能会感到压力巨大。企业实际情况是业务人员缺乏IT信息无法构建解决方案,而IT人员专注于技术忽略了业务需求。许多公司正在通过创建一个新的数据部门来解决这种情况,该部门业务和IT紧密配合,因为两者缺一不可,需要这两个技能的综合体。


数据模型的定义



DMBOK2将数据建模和设计定义为“数据模型是形式化的表达和沟通数据需求的过程和产物”。数据模型通过对实体、关系和属性等描述,使组织能够理解其数据资产。如业务的核心概念、客户、产品、员工等。


数据架构.jpg


数据建模从业务和技术角度设计。“数据建模师可能擅长对特定系统或特定业务案例进行建模,但数据架构师必须看得更广泛。”数据建模通常对物理层上特定数据库的设计,或逻辑、概念层上特定业务领域的设计。需要将数据架构和数据建模,与组织过程结合起来。


数据架构和数据建模应该与组织的核心业务流程和活动保持一致。例如


当销售部门想要购买一个新的电子商务平台时,它需要集成到整个体系结构中。如果不知道现有的数据输入和输出流程是什么,就很难知道新平台如何集成。“数据模型通常就是在这里出现的。试着比较两个系统的数据,我们如何整合?找出系统间的关联关系,在较高的层次上,数据模型记录了企业核心的业务对象和业务规则:客户、产品、部件等。不需要花几个月的时间去创建一个完美的数据模型,不断迭代和沉淀,即使只是问一些简单的描述,对数据资产的理解也能起到很大的作用。


客户A:即将实施新系统,他们召集所有人一起进行两小时的实施前数据模型的评审会议。在这个过程中,他们发现了一些重大的错误。结果他们很高兴把一些问题扼杀在萌芽状态,否则这将是未来的噩梦。


客户B:购买了多个系统,但他们的数仓遗漏一个设计来支持一个客户可以有多个电子邮件地址。他们花了数周重构数仓才解决。如果更早关注数据模型设计,他们就会知道设计与他们的业务规则不匹配。


企业公司:正在建设一个人力资源系统,员工可以担任多个工作角色,在数据模型设计中表明员工可能有多个角色。这是数据建模的基本常识,但他们没有关注数据模型的设计。现在公司检查每一个业务系统,并将其与他们的企业级数据模型进行比较,因为他们的企业级数据模型就是他们的业务运营模式。


大型客户:现在要求供应商在交付软件之前遵守特定的数据标准。因为他们是一家大公司,基于他们的购买力,供应商必须遵守相关规则。公司对其系统的数据模型进行管控,后面数据资产的集成和服务就越能顺利进行。


随着数据中台的负面声音越来越多,企业将回归基础,数据治理和企业架构曾经被认为是“老派(Old school)”。当一切尘埃落定,喧嚣归于平静,数据基础建设将更加脚踏实地,因为它是行之有效的唯一途径。


这个行业经历了一个“青少年阶段”,一些人说“我们将打破所有的规则,我们不再需要那些愚蠢的数据模型了”。但我认为我们现在已经走上了更成熟的阶段,深谋远虑的设计,对未来长期发展会有很大的帮助


业务人员越来越意识到数据资产的重要性并参与其中,业务和IT的融合。这些融合最终都体现在数据模型上。数据管理、数据体系结构和数据建模等基础知识的需求正在增加,人们希望探索创新,他们意识到,如果不先建立基础,就是不断的原地踏步。 



关于Datablau

Datablau创建于2016年,核心创始和研发团队全部来自于原CA erwin,天然具有世界级产品厂商的血缘和水准,是国内数据治理的第一品牌。依托多年的行业积累和技术沉淀,Datablau在产品设计层面充分发挥了后天优势,实现了集数据建模、数据目录、数据质量和数据准备为一体的企业级数据治理平台,全面满足企业对于数据治理的客观需求。

目前Datablau在建设银行、华为、中信集团、嘉实基金、中国人寿、国电大渡河、四川航空等大型客户得到实际应用并深受好评,客户范围已经覆盖到银行、保险、制造业和能源行业等核心领域,Datablau已成为企业数据治理领域的领导厂商。

数据架构.jpg

推荐阅读 查看更多