新闻资讯

Datablau&DataWorks联合发布数据中台模型管理一体化解决方案

数语科技(Datablau)作为市场上唯一成熟的国产数据建模工具厂商,已正式成为阿里云数据开放平台DataWorks的生态战略合作伙伴。

数据建模.jpg

云栖大会期间,数语科技(Datablau)创始人&CEO王琤受邀出席,分享了数据建模的相关知识,并代表数语科技(Datablau)发布了融入阿里DataWorks平台的企业数据中台模型管理方案。以下为数语科技(Datablau)王总会议演讲部分实录:

       首先简单介绍一下数据库模型,现在经常有两个建模的概念容易混淆,一个是统计分析建模,另一个是数据库建模。我们今天谈的是后者。就是关系实体图也叫ER图。计算机科班出身的同学,大学时有门数据库原理的课程,主要就是ER图设计。  数据模型描述了从概念模型到逻辑模型到物理模型,是中台的数据架构,是数据蓝图,更是数据的基石。

数据建模.jpg

ER模型的应用场景很多,三范式模型应用于业务交易系统,数仓和中台架构的维度模型和data  vault模型会做de-normalize(反范式化)应用于数据分析。  这些都可以在模型设计工具中实现。

从这张片子可以看到:  概念模型里的“员工”是high  level的,实体级。  逻辑模型具体到属性级。  物理模型具体到落地的数据库特性,数据类型等。  数据模型这三层将业务与物理信息关联在一起。 

我们的联合解决方案可以通过模型设计工具,设计ER关系实体图,并在公共云和混合云都有支持。

数据建模.jpg

       其次数据模型具体到企业的使用场景, 通常分为以下四个阶段

1.模型导入:从数据库逆向工程出来ER图,基于这个开始模型设计工作。

2.设计中台数据架构,数据标准落标,多人协作建模:类似Git创建分支,签入签出。

3.开发测试,模型封版后,模型评审,生成DDL脚本:这里也可以跟Jira之类发版系统集成。

4.投产运维:模型与物理数据库周期性比对,形成闭环。

这样一个数据模型管理模式对企业是非常必要的,因为企业中会有数十个团队参与数据开发的,只有在设计态管理好,才根治数据质量问题,才能真正从源头就看清我们要生产什么样的数据,并将数据有效的用起来。

数据建模.jpg

    在最新版DataWorks平台中,可以通过Datablau建模工具DDM直接设计中台架构,并由统一模型库管理。模型通过DataWorks与MaxCompute等计算引擎无缝对接,实现数据模型开发驱动的数据中台。欢迎大家会后涌跃体验这个解决方案,Datablau的官网(www.datablau.cn)可以提供DDM免费下载试用。


论坛讨论环节

 

主持人:【您认为DataWorks最有价值的功能是什么?】

 

Datablau 王琤:

我认为DataWorks的核心能力还是在数据开发领域。很多中小企业,其实数据团队规模并不会很大,所以也在不断的敏捷化、devops化,实际核心还是数据开发者,所以面向数据开发者的开发、运维体验非常重要。不过数据开发人员怎么参与到数据治理、数据运维环节,形成整个研发链路的闭环,是一个需要探讨的问题。DataWorks把数据开发和数据质量管理结合在一起,是一个尝试。这次Datablau和DataWorks集成,从数据模型开始,驱动数据开发,沉淀到数据地图,反馈到数据标准,帮助数据落标,形成另一个闭环。

 

主持人:【大数据开发治理领域百花齐放,未来的趋势会走向何方?】

 

Datablau 王琤:

事前数据治理,  将数据治理尽量前置,才能根治数据质量问题。  在开发设计阶段通过数据标准落标,做到数据生产规范化。  通过企业级数据模型贯穿从开发设计到数据开发到数据服务。  我们当前推出的数据模型解决方案就是当前市场上最先进的事前数据模型管控方案。

 

重视数据资产关联关系。数据治理本质上是解决数据孤岛的问题。数据资产中最重要的是关系,这样才能形成链条,将数据真正用起来。缺乏关系的数据资产仍然是数据孤岛。如何补全数据资产的关系是行业中的急需解决的问题。  数据模型是今年讨论的热点,数据模型的逻辑模型便体现了逻辑关系。从系统开发团队,到数仓开发团队都可以在模型设计工具中输入关系,而不是很重的数据资产盘点咨询。  协作式通过在数据模型中补全数据关系,是我看到的另一大趋势。



关于Datablau

Datablau创建于2016年,核心创始和研发团队全部来自于原CA erwin,天然具有世界级产品厂商的血缘和水准,是国内数据建模和创新型数据治理的第一品牌。依托多年的行业积累和技术沉淀,Datablau在产品设计层面充分发挥了后天优势,实现了集数据建模、数据目录、数据质量和数据准备为一体的企业级数据治理平台,将独创的“数据生产规范化、数据管理资产化、数据服务应用化、数据治理生态化”企业数字化转型新四化理论贯穿到产品设计上,全面满足企业对于数据治理的客观需求和落地实际。

目前Datablau已为建设银行、华为、中信集团、嘉实基金、中国人寿、国电大渡河、四川航空、东方航空、联合电子汽车、苏州银行、中原银行、平安银行、兴业证券等众多大型客户提供数据治理相关产品及服务,得到实际应用并深受好评,客户范围已经覆盖到银行、保险、制造业和能源行业等核心领域,Datablau已成为企业数据治理领域的领导厂商。

数据建模.jpg


推荐阅读 查看更多