产品
一站式数据治理平台
DDM 数据模型管控平台
模型设计与管理一体化工具,实现从源头治理数据
DAM 数据资产管理平台
自动盘点企业数据资产,发现数据质量问题。
DDC 数据资产目录平台
指导资产目录搭建,为企业构建数据资产门户
DDS 数据安全管理平台
通过AI算法、自动识别等手段进行数据资产的分类分级
数据治理工具 Tools
DDM Archy 数据架构工具
架构资产管理工具,依托于DDM的基础建模能力,对架构资产,进行专项设计和管理
Datablau SQLink 血缘解析工具
高度自动化,简单易用的分析SQL语句并发现其中的数据血缘关系的可视化分析软件
Datablau D3 数据开发管理工具
数据治理贯彻自始至终,让数据开发更规范,更可控,更敏捷、质量更高。
Demo 演示
在线血缘解析
产品免费试用
服务
实施与咨询服务
数据治理轻咨询服务,在数据治理现有成果的基础上,围绕数据治理的落地实施,为企业数据治理的常态化运营提供能力支撑。
企业内训
根据大中型企业数据治理的实际情况和行业特性,制定的个性化和定制化的培训课程,帮助企业解决实际问题。
解决方案
通用解决方案
数据安全与合规解决方案
数据资产管理与服务解决方案
数据中台综合解决方案
数据模型管理解决方案
数据治理综合解决方案
行业解决方案
银行业
保险行业
基金行业
制造行业
汽车行业
标杆案例
生态合作
项目交付生态合作
以Datablau产品/解决方案为核心,为客户提供项目实施交付及技术服务支持的合作伙伴
渠道销售合作
经授权向客户出售Datablau的产品/解决方案/服务的销售代理商
校企合作
产教融合,联合培育高阶数据人才的高校合作伙伴
资料中心
AI智能小数
关于我们
了解Datablau
企业简介
招贤纳士
联系我们
Datablau动态
新闻动态
干货文章
400-6033-738
免费试用
以技术驱动 打造世界级数据治理产品
免费试用
Datablau荣获2023年DAMA数据治理优秀产品奖
免费试用
银行业数据治理解决方案,全面赋能数智化建设
免费试用
Datablau 一站式数据治理平台
DDM
数据模型管控平台
标准落标
模型管控
模型设计
协作共享
免费试用
查看详情
DAM
数据资产管理平台
元数据管控
基础标准管理
指标标准管理
数据血缘与图谱
免费试用
查看详情
DDC
数据资产目录平台
数据资产目录
数据资产门户
数据资产搜索引擎
数据服务
免费试用
查看详情
DDS
数据安全管理平台
智能数据分类分级
访问权限设置
数据安全网关
数据静态脱敏
免费试用
查看详情
以业务驱动,构建智能数据资产生态管理
免费试用
适配行业和业务的数据治理解决方案
通用解决方案
数据安全与合规解决方案
查看详情
数据资产管理与服务解决方案
查看详情
数据中台综合解决方案
查看详情
数据模型管理解决方案
查看详情
数据治理综合解决方案
查看详情
行业解决方案
银行
保险
基金
制造
汽车
打造智能化数据治理服务,重塑银行数智化竞争新优势
银保监对金融机构数据治理工作尤为重视,发文《银行业金融机构数据治理指引》,要求银行业金融机构将数据治理纳入公司治理范畴,并将数据治理情况与公司治理评价和监管评级挂钩。
获取方案
全面推进保险业数字化转型,推动金融高质量发展
有效促进行业提升信息化程度、风险管控能力、行业治理水平和服务实体经济能力,从而提升保险行业整体竞争力。
获取方案
基金行业数据治理探索与实践
深入贯彻落实党的二十大精神,引导基金行业机构践行《证券期货业科技发展“十四五”规划》,共促基金行业数字化转型
获取方案
智慧制造 — 制造行业一站式数据治理平台
制造企业积累的数据资产越来越多,急需一套数据治理解决方案来帮助企业降低工业化生产成本,实现企业信息一体化管理。
获取方案
汽车行业数据治理解决方案
只有对数据进行有效的、高质量的治理,才能尽早发现数据的问题、提高数据质量、发挥数据价值、提升经营管理能力,在汽车数字化竞争中赢得先机。
获取方案
200+
TOP企业的共同选择
生态合作伙伴
诚邀有渠道优势、项目交付优势的合作伙伴,整合资源,合作共赢,共同打造数字化应用生态体系
成为生态合作伙伴
项目交付
查看详情
渠道代理
查看详情
校企合作
查看详情
让数据治理真正改变企业数据应用能力
免费试用
Datablau 动态
公司动态
干货文章
春日奋进,Datablau中标喜讯纷至沓来~
实干创佳绩,奋斗铸辉煌。近期,Datablau数语科技再传喜讯,凭借丰富的项目经验,雄厚的产品实力和良好的市场口碑,顺利中标北银理财、比亚迪、五矿证券、金光纸业、光大理财等多个数据治理项目。在数字化时代下,数据治理作为确保数据质量、保障数据安全、提升数据价值的关键环节,其重要性日益凸显。Datablau数语科技作为一家产品创新型公司,始终致力于以数据驱动运营,以Datablau新一代数据治理平台为依托,凭借在数据治理领域多年沉淀的技术能力和服务能力,为签约客户提供高效、稳定、安全的平台支撑,持续为企业数字化转型赋能。至今,Datablau已经服务了金融、制造、能源、物流、零售等领域的200多家大中型企业,标杆客户包括建设银行、华为、中国人寿、国家电网等,产品和服务深受客户一致好评。未来,Datablau将继续帮助更多企业落地数据治理最佳实践,助推动数字化转型之路。
Datablau证券数据资产智能识别知识库获北京国际大数据交易所登记
近日,Datablau的行业知识图谱成功获得了北京国际大数据交易所颁发的数据资产登记凭证,这一里程碑式的成就标志着数语的数据资产已经得到了大数据交易所的充分价值认可。 这一重要资质认证的取得,不仅标志着Datablau证券行业数据资产智能识别知识库的管理体系和数据质量得到了权威机构的认可,也意味着其在数据资产管理和保护方面所付出的努力和取得的成果。这意味着Datablau的知识库在数据质量和合规性方面得到了认可,并被视为合法可用的数据资产。 随着数据资产在证券行业中的地位日益重要,Datablau证券行业数据资产智能识别知识库利用先进的人工智能和机器学习技术,对证券行业数据进行全面而精准的识别和处理。通过这一登记凭证,Datablau的知识库进一步增强了其数据质量和可信度,为用户提供了更高质量的证券行业数据服务。为了积极响应财政部发布的《企业数据资源相关会计处理暂行规定》,Datablau正在考虑将这一宝贵的数据资产以及更多沉淀的数据资产纳入财务报表,以展示其无可估量的价值。 Datablau数据治理平台,凭借其智能数据资产盘点与智能数据安全分类分级功能,深受企业青睐。而这两大功能背后的秘诀,正是Datablau梳理的行业知识图谱。这一图谱的构建,倾注了数语科技资深咨询顾问们数月的辛勤努力,他们以深厚的行业业务理解为基础,精心打造而成。这份宝贵的行业知识图谱,不仅赋予了Datablau数据治理平台强大的智能分析能力,更为企业提供了一个数据安全与效率并重的有力保障。
再添佳绩|Datablau再迎一波签约捷报!
营销奋进正当时。近期,Datablau市场开拓捷报频传,再迎新一波签约捷报!顺利签约中国航信、浙江中控、国信证券、华安基金、上海新能源汽车公共数据采集与监测研究中心等多个大型数据治理项目,满弓紧弦冲刺年末“收官之战”。Datablau将依托在数据治理领域多年积淀的技术能力和服务能力,为签约客户提供高效、稳定、安全的平台支撑,持续为企业数字化转型赋能。多年来,Datablau在技术和产品上不断迭代与突破,从深耕对数据极为敏感的金融行业并沉淀了建设银行、中金、泰康等多家重点标杆金融客户,到目前将服务行业扩展至制造、能源、零售、物流、地产等10+行业,Datablau始终立足市场需求,未来将继续以更优质的产品和解决方案为更多行业的客户提供全方位的数据治理技术和服务支持。
数据分类分级概念、方法、标准及应用
数据已与土地、劳动力、资本、技术并列为先进生产力五大要素,是国家重要的基础性、战略性资源。如何开放数据共享、提升数据价值的同时保障数据生命周期安全与合规,是企业需要解决的重要问题。而对数据进行数据分类分级安全管理,是数据安全保护的重要措施之一。1.数据分类分级概念及挑战根据《GB/T 38667-2020 信息技术-大数据-数据分类指南》的定义,数据分类是根据数据的属性或特征,按照一定的原则和方法进行区分和归类,以便更好地管理和使用数据。数据分类不存在唯一的分类方式,会依据企业的管理目标、保护措施、分类维度等形成多种不同的分类体系。数据分类是数据资产管理的第一步。不论是对数据资产进行编目、标准化,还是数据的确权、管理,或是提供数据资产服务,进行有效的数据分类都是其首要任务。数据分类更多是从业务角度或数据管理的方向考量的,包括行业维度、业务领域维度、数据来源维度、共享维度、数据开放维度等。同时,根据这些维度,将具有相同属性或特征的数据,按照一定的原则和方法进行归类。数据分级则是按数据的重要性和影响程度区分等级,确保数据得到与其重要性和影响程度相适应的级别保护。影响对象一般是三类对象,分别是国家安全和社会公共利益、企业利益(包括业务影响、财务影响、声誉影响)、用户利益(用户财产、声誉、生活状态、生理和心理影响)。企业建议选取影响程度中的最高影响等级为该数据对象的重要敏感程度。同时,数据定级可根据数据的变化进行升级或降级,例如包括数据内容发生变化、数据汇聚融合、国家或行业主管要求等情况引起的数据升降级。数据分级本质上就是数据敏感维度的数据分类。任何时候,数据的定级都离不开数据的分类。因此,在数据安全治理或数据资产管理领域都是将数据的分类和分级放在一起,统称为数据分类分级。目前分类分解存在的挑战有:1. 复杂业务的分类分级标准与规则不好定义,行业标准对落地细则的指导不足。2. 数据分类分级之后缺乏对应的有效管理和使用策略,让数据分类分级流于形式。3. 部分业务数据不具备明显数据特证,通过规则自动识别准确率不高。特别是针对非结构化数据的分类分级识别困难较大。2.国内已发布的数据分类分级相关标准在开展分类分级工作时参考最多的标准有如下:其他标准参考如各类地准、国标、行标:3.企业数据分类分级实现行业发布的数据分类分级标准可以为企业实施提供参考,但企业真正着手建立企业内部数据分类分级规范并不能完全照搬行业标准,行业标准的内容一般较为宏观,分类的颗粒度相对较粗,可能不能完全覆盖企业的主要数据类型。这就需要企业结合自身业务场景及行业实践来建立适合本业务特性的分类分级标准。3.1 数据分类分级实施路径在实际落地过程中,通常会把数据分类分级的实施路径总结成为五步:第一步,咨询调研分析。基于行业相关的监管政策和标准规范,对业务系统、数据资产现状和数据安全现状等进行全面调研分析,从而对企业业务、数据及安全现状做到“心中有数”。第二步,数据资产梳理。自动化识别数据资产,对数据资产进行梳理打标,构建好数据资产目录和数据资产清单,为企业数据分类分级打好基础。第三步,数据分类方案。基于数据资产清单进行数据分类体系设计,完成数据分类打标实施。打标实施完之后,再进行分类分级规则调优,提升自动化分类的比例和准确率。第四步,数据分级方案。先进行数据分级体系设计,接下来进行数据分级的规则调优,尽量提升自动化分级的覆盖率和准确率,降低人工成本,然后是数据等级变更维护机制和工具平台设置。第五步,数据分类分级全景图。构建数据分类分级清单,实现数据分类分级可视化。同时产出一些数据分类分级运营机制,为数据安全分级保护打好基础,做好准备。3.2 数据分类数据分类是指根据数据的属性或特征,按照一定的原则和方法进行区分和归类,并建立起一定的分类体系和排列顺序,以便更好的管理和使用数据的过程。基于不同的数据属性或特征,对数据采用不同的分类视角,例如有数据管理视角、数据应用视角和国家行业组织视角。从数据分类视角出发,结合数据分类方法对数据进行分类,把数据分类的方法分成三种,线分类法、面分类法和混合分类法。线分类法旨在将分类对象按选定的若干个属性或特征,逐次分为若干层级,每个层级又分为若干类别。同一分支的同层级类别之间构成并列关系,不同层级类别之间构成隶属关系。同层级类别互不重复,互不交叉。面分类法是将所选定的分类对象依据其本身的固有的各种属性或特征,分成相互之间没有隶属关系即彼此独立的面,每个面中都包含了一组类别。将某个面中的一种类别和另外的一个或多个面的一种类别组合在一起,可以组成一个复合类别。面分类法是并行化分类方式,同一层级可有多个分类维度。混合分类法是将线分类法和面分类法组合使用,克服这两种基本方法的不足,得到更为合理的分类。混合分类法的特点是以其中一种分类方法为主,另一种做补充。适用于以一个分类维度划分大类、另一个分类维度划分小类的场景。分类的维度可以有很多,包括数据的来源、内容和用途等,有时候可能是多维度的结合,例如,从个人信息的维度,将数据分为个人信息和非个人信息;从业务维度,分为财务数据、业务数据、经营数据等。数据分类示例:3.3 数据分级数据的分级一般是依据数据重要性和敏感度高低来划分的。《中华人民共和国数据安全法》要求,根据数据一旦遭到篡改、破坏、泄露或者非法获取、非法利用,对国家安全、公共利益或者个人、组织合法权益造成的危害程度,将数据从低到高分成一般数据、重要数据、核心数据共三个级别,这是从国家数据安全角度给出的数据分级基本框架。企业比较常用的分级规则是将一般数据的敏感/重要程度从低到高分为公开(1级)、秘密(2级)、机密(3级)、绝密(4级)四个级别,如下示例:工业和电信领域企业,如涉及国家核心数据和重要数据的分类分级可参考《工业和信息化领域数据安全管理办法(试行)》中第七条至第十条要求。以金融行业数据分级为例,金融行业数据等级一般分为五级:五级数据指对国家安全造成影响,或对公众权益造成严重影响数据。四级数据指对公众权益造成一般影响,或对个人隐私或企业合法权益造成严重影响,但不影响国家安全数据。例如个人健康生理信息、个人身份鉴别信息等。三级数据指对公众权益造成轻微影响,或对个人隐私或企业合法权益造成一般影响,但不影响国家安全数据。例如比较常见的个人信息,姓名、身份证,联系方式等。二级数据指对个人隐私或企业合法权益造成轻微影响,但不影响国家安全、公众权益数据。一级数据指对个人隐私或企业合法权益不造成影响,或仅造成微弱影响,但不影响国家安全、公众权益数据。数据分类类别,包括但不限于研发数据、生产运行数据、管理数据、运维数据、业务服务数据、个人信息等。数据分级级别,按照国家有关规定,根据数据遭到篡改、破坏、泄露或者非法获取、非法利用,对国家安全、公共利益或者个人、组织合法权益等造成的危害程度,将数据分为一般数据、重要数据和核心数据三级。分级原则如下:合法合规原则:分级应遵循有关法律法规及部门规定要求,优先对国家或行业有专门管理要求的数据进行识别和管理,满足相应的数据安全管理要求。就高从严原则:数据分级时采用就高不就低的原则进行定级,例如数据集包含多个级别的数据项,按照数据项的最高级别对数据集进行定级。动态调整原则:数据的级别可能因为多个低敏感的数据聚合提高数据级别,也可能因为脱敏或者过期等原因降低数据级别。完成数据资产的识别与分类分级定义后,需要制定并发布企业的《数据安全分类分级标准》及配套的安全要求,以在企业内统一规则及实施流程。安全标准重点是需要针对不同安全级别的数据采取差异化的安全策略,对高敏(机密、绝密级)数据进行重点管理,而公开和秘密级别的安全措施要适度。特殊业务场景下,可以通过对高敏数据进行脱敏、加密以及采用隐私计算等措施来降低数据管级,提高数据的内部流转,实现数据价值。3.4 分类分级在业务中的应用分类分级标准制定只是企业数据分类分级安全管理工作的起点。真正要落实数据分类分级安全要求,需要建立配套的实施流程与工具。确保在不同的业务场景中能够识别并标识出数据的分类与分级,并实施对应的安全措施,例如:在权限申请和数据分享的场景,不同级别的数据采用分级安全控制策略与审批流程;在安全事件处理场景,不同级别的数据的事件定级及响应处理流程有差异等等。图1 数据分类分级应用实践案例如上图数据处理全流程涉及的数据安全管控技术示例如下:1. 数据源验证、合规评估、个人信息采集告知同意2. 数据源验证、访问控制、传输加密、个人敏感信息内容加密3. 数据使用审计、权限控制、数据脱敏、安全计算4. 联邦学习、访问控制、数据访问审计5. 访问控制、数据脱敏、特权管理6. 数据脱敏、外发安全审计、API管控7. 服务端数据存储加密、数据库访问控制、安全审计、分类分级8. 敏感数据识别、数据分类分级9. API安全监测、访问控制、安全审计10. 数据脱敏、安全审计11. WEB数据展示/下载管控/审计/脱敏12. 动态脱敏、特权管理、安全审计、运维审计13. 安全评估、保密协议、数据脱敏、加密传输14. 数据分类分级、文件加密、数据防泄漏、远程办公安全4.敏感数据的分类分级识别与打标敏感数据的分类分级识别,不同企业做法有所不同。规模比较小的企业通过人工盘点的方式也能将基本数据识别完整。但大企业的数据量级很大,而且总是随着业务的变化持续在变,敏感数据的分类分级识别如果仅使用人工盘点的方式,目标不易实现。建立一套自动化数据识别与打标的能力显得尤为重要。图表 2 数据分类分级打标及应用流程4.1 建立敏感数据规则库敏感数据规则库的建立是自动化识别的基础能力,规则库采用的技术包括关键字、正则表达式、基于文件属性识别、基于元数据信息的自定义识别、机器学习等。例如:银行卡号、证件号、手机号,有明确的规则,可以根据正则表达式和算法匹配。姓名、特殊字段,没有明确信息,可能是任意字符串,可以通过配置关键字来进行匹配。营业执照、地址、图片等,没有明确规则,可以通过自然语言算法来识别,使用开源算法库。4.2 数据扫描、识别与密级打标通过对结构化/半结构化/非结构化数据扫描,自动发现敏感数据的类别、级别等属性信息及存储位置,形成数据资产图。自动化识别并打标的数据,按需进行人工的复核,以确定数据的密级。密级需要支持人工修改,通过流程控制密级的变更。更重要的是,数据的密级标签要同步到元数据、数据产品等,实现对密级的应用。当然,数据分类分级只是数据安全工作中基础的环节,真正要做好数据安全管理,需要建立相对完整的安全管理与技术体系,才能有效落实数据的分类分级策略,保障数据的安全与合规。5.数据分类分级保障措施及相关建议数据分类分级是数据安全治理和数据管理的主要措施,是数据的安全合规使用的基础。数据分类分级不仅能够确保具有较低信任级别的用户无法访问敏感数据以保护重要的数据资产,也能够避免对不重要的数据采取不必要的安全措施。人、安全体系、技术这三方面是数据安全治理三个方面:数据安全治理蓝图数据分类分级建设思路5.1 数据分类分级保障条件-组织架构数据分类分级工作的开展应具备组织保障,设立并明确有关部门(或组织)及其职责。决策层:决策层负责制定企业数据战略、审批或授权,全面协调、指导和推进企业的数据分类分级工作。数据分类分级工作的领导组织及其负责人,主要负责数据分类分级相关审批、决策等工作;管理层:决策层主要负责建立企业数据分类分级的完整体系,制定实施计划,统筹资源配置、建立数据分类分级常态化控制机制,组织评估数据分类分级工作的有效性和执行情况,制定并实施问责和激励机制。数据分类分级工作的管理部门(或组织)及其负责人,主要负责数据分类分级相关工作的组织、协调、管理、审核、评审等工作;执行层:执行层在管理层的统筹安排下,根据数据分类分级相关制度规范的要求,具体执行各项工作。负责数据分类分级体系建设和运行机制,根据数据分类分级各职能域的管理要求承担具体工作。信息科技部门及其负责人,主要负责落实数据分类分级有关要求,并主导数据分类分级实施工作。各业务部门是数据分类分级执行工作的责任主体,负责本业务领域的数据分类分级执行工作,管控业务数据源。确保数据被准确记录和及时维护,落实数据分类分级管控机制,执行监管数据相关工作。各业务部门及其负责人负责落实数据分类分级有关要求,并协同开展数据分类分级实施工作。5.2 数据分类分级保障条件-制度规范1)数据分类分级工作的开展应具备制度保障,企业应建立数据分类分级工作的相关制度,明确并落实相关工作要求,包括但不限于:2)数据分类分级的目标和原则;3)数据分类分级工作涉及的角色、部门及相关职责;4)数据分类分级的方法和具体要求;5)数据分类分级的日常管理流程和操作规程,以及分类分级结果的确定、评审、批准、发布和变更机制;6)数据分类分级管理相关绩效考评和评价机制;7)数据分类分级结果的发布、备案和管理的相关规定。5.3 相关建议1)站在集团层面做数据分类及下属企业两个层面;2)不求大而全,实用为主。主数据、指标数据分类做实;3)能在不同企业推广。物料、设备、指标框架等;4)满足一个集团在不同层级人员的共享需求;5)尽量多一些有影响力的成员单位加入团标。(本文内容来源数据安全推进计划、极盾科技、数据工匠俱乐部等,数据学堂整理编辑)
20图学懂从0到1搭建企业级数据治理体系
如何构建企业数据治理体系?企业数据治理过程需要注意哪些问题?总体而言,不能一口一个胖子,路要一步一步地走。好的数据治理体系可以盘活整条数据链路,最大化保障企业数据的采集、存储、计算和使用过程的可控和可追溯。下面笔者结合企业级数据治理经验,详细介绍从0到1搭建数据治理体系全流程,帮你梳理数据治理的主要内容以及过程中会遇到的哪些坑。如有遗漏之处,欢迎评论区探讨。一、数据治理到底是在做什么?数据治理的核心工作:在企业的数据建设进程中,保障企业的数据资产得到正确有效地管理。整个过程,如图所示。我们先做一些类似数据同步的工作将数据放入到大数据系统中数据进来后需要管理和存储,即参考建模理论和实际场景建设数仓经过主题规划、维度确定、标签计算输出等步骤处理数据输出到报表、应用端使用整体流程数据治理体系将全程监管。要确认进出系统的数据质量怎么样?是否可转化数据资产?数据血缘是否可追溯、数据安全等问题。二、为什么要做数据治理有一些企业对这个问题的概念很模糊,认为目前的数据规模很小,人为可控,暂时不需要做数据治理。但是在实际使用中还是会遇到很多问题:数据监管力度不够,出现脏数据数据体系逐渐规模变大,管理混乱数据的血缘丢失,无法回溯旧、老的数据无论企业的数据规模如何,笔者认为还是提起做好数据治理的规划。考虑到成本的问题,可以分阶段进行。有剑在手不用和无剑可用是两回事。提前做好数据治理规划,会节省后续的改造成本,避免过程冗余重构或者推倒重来等情况的发生。数据治理可以有效保障数据建设过程在一个合理高效的监管体系下进行,最终提供高质量、安全、流程可追溯的业务数据。三、数据治理体系企业数据治理体系包括数据质量管理、元数据管理、主数据管理、数据资产管理、数据安全及数据标准等内容。1)数据质量一般采用业内常用的标准来衡量数据质量的好坏:完整性、准确性、一致性和及时性。完整性:数据的记录和信息是否完整,是否存在缺失情况准确性:数据汇总记录的信息和数据是否准确,是否存在异常或者错误一致性:多个业务数仓间的公共数据,必须在各个数据仓库中保持一致及时性:数据能及时产出和预警2)元数据管理元数据是关于数据的组织、数据域及其关系的信息,通俗理解,元数据就是描述数据的数据。元数据包含技术元数据、操作元数据和业务元数据。可以帮助数据分析人员清楚了解企业拥有什么数据,它们存储在哪里,如何抽取、清理、维护z这类数据,也即数据血缘。帮助构建业务知识体系,确立数据业务含义可解释性提升数据整合和溯源能力,血缘关系可维护建立数据质量稽核体系,分类管理监控3)主数据管理企业主数据指企业内一致并共享的业务主体,大白话理解就是各专业公司和业务系统间共享的数据。常见的主数据比如公司的员工、客户数据、机构信息、供应商信息等。这些数据具有权威性和全局性,可归约至公司的企业资产。一般主数据管理需要遵循如下几点:管理和监管各组织机构、子公司、部门对主数据的访问,制定访问规范和管理原则定期进行主数据评估,判断既定目标的完善程度组织相关人员和机构,统一完善主数据建设提供技术和业务流程支持,全集团集中统筹4)数据资产管理一般企业在数字化转型时都会考虑数据资产梳理。你的数据有没有被合理利用?如何产生最大价值?这是数据资产管理关心的核心工作。在构建企业资产时一般会考虑不同角度,即业务角度和技术角度,最后进行合并,输出统一的数据资产分析,并向外提供统一的数据资产查询服务。如何盘活数据,形成数据资产,提供完整的数据资产全景视图,可方便运营者全局、宏观地掌控企业资产动态。5)数据安全数据安全是企业数据建设必不可少的一环,我们的数据都存储在大大小小的磁盘中,对外提供不同程度的查询和计算服务。需要定时对数据进行核查、敏感字段加密、访问权限控制,确保数据能够被安全地使用。6)数据标准企业需要在组织内定义一套关于数据的规范,保障所有人员对数据的理解一致。今天张三说这个客户号是办理银行卡的客户,明天李四又说是借贷过的客户。对比一看,两者的字段类型和长度一致,到底要采纳哪个意见呢?数据标准是保障数据的内外部使用和交换的一致性和准确性的规范性约束,通过统一规范,消除二义性。四、企业数据治理实施过程1、数据治理实施框架数据治理体系是为了规范业务数据规范、数据标准、数据质量和数据安全中的各类管理任务活动而建立的组织、流程与工具。通过一个常态化的数据治理组织,建立数据集中管理长效机制,规范数据管控流程,提升数据质量,促进数据标准一致,保障数据共享与使用安全,从而提高企业运营效率和管理水平。2、数据治理组织架构企业数据治理体系除了在技术方面的实施架构,还需要管理方面的组织架构支撑。一般在数据治理建设初期,集团会先成立数据治理管理委员会。从上至下由决策层、管理层、执行层构成。决策层决策、管理层制定方案、执行层实施。层级管理、统一协调。1)组织架构①决策层提供数据标准管理的决策职能,通俗理解即拍板定方案。②管理层审议数据标准管理相关制度对跨部门难的数据标准管理争议事项进行讨论并决策管理重大数据标准事项,提交信息科技管理委员会审议③执行层业务部门:负责业务线数据标准的制定、修改、复审,推广落实数据标准等科技开发:承担治理平台、数据标准、数据质量等实施工作;系统设计和开发工作中遵循数据标准科技运营:负责技术标准的制定和技术推广2)管理层职责①项目经理确定项目目标、范围和计划制定项目里程碑管理跨项目协同②专家评审组评审项目方案,确定方案的合理性③PMO确保项目按计划执行管理项目重大风险执行跨项目协同、沟通组织项目关键评审④数据治理专项组执行各项目的落地实施和运营推广,推动执行层的实施数据治理技术落地和项目进展。3)执行层职责数据架构师、数据治理专家和业务专员形成数据治理"铁三角”,紧密协作,推进数据治理与数据架构落地。①业务专员业务专员作为业务部门数据治理的接口人,在标准、质量、应用等领域组织业务人员开展工作定义数据规则保障数据质量提出数据需求②数据治理专家数据治理专家作为数据治理组成员,负责设计数据架构,运营数据资产;牵头组织业务、IT达成数据治理目标。构建数据逻辑模型监控数据质量运营数据资产③数据架构师数据架构师作为IT开发部门的专家,承担数据标准落地、模型落地的重任,协助解决数据质量问题。数据标准落地逻辑模型落地物理模型落地3、数据治理平台在确定了技术实施方案和组织管理架构,下面需要进行数据治理体系的落地实施。在大型企业中一般会开发一个完整的数据治理平台,囊括所有数据治理功能,对外提供平台服务。1)核心功能数据治理平台作为数据治理的产品体系,旨在保障数据平台的数据是安全、可靠的、标准的、有价值的。数据资产管理:提供面向用户的场景化搜索,提供全景数据资产地图,方便快速查找资产和资产分析数据标准管理:统一定制数据标准,提高包括字段、码值、数据字典管理,保障业务数据和中台数据的统一标准数据质量监控:提供事前、事中、事后的数据质量体系,支持数据质量监控规则配置、告警管理等功能数据安全:提供数据安全脱敏、安全分级和监控数据建模中心:统一建模,提供业务系统建模和模型管理2)元数据管理元数据管理系统作为数据治理平台的前端展示门户,帮助实现对数据资产的快速检索能力,提高数据使用有效性和效率。通过建立完整且一致的元数据管理策略,提供集中、统一、规范的元数据信息访问、查询和调用功能。3)数据质量数据质量监控:支持所有用户进行数据质量监控规则配置规则阻断:配置数据质量监控阻断规则,数据质量出现差异可实时阻断下游作业运行,屏蔽错误结果链路扩散告警:数据质量出现预设偏差,及时发出预警通知及时修复4)数据标准支持定制统一的数据标准平台,包括字段标准管理,码值标准管理以及字典管理,业务源数据和中台数据统一标准。5)数据安全基于集团数据资产实现数据安全分级管理,自动识别安全信息;提供数据访问安全行为监测,及时识别访问风险。4、数据治理评估数据治理平台开发完成并运行,需要对整体数据治理体系的效果进行验证和评估。数据是否可以消除“脏、乱、差”的现象数据资产是否最大价值化所有数据的血缘是否完整可追溯1)数据资产通过构建数据资产管理体系,实现资产全覆盖,并支持全局搜索和精准定位目标资产。实现全局搜索,面向用户提供场景化检索服务支持标签、数据地图、表名和字段名等多种检索维度支持进行数据地图,源业务数据字典的结果筛选比如支持PV/UV用户搜索和资产展示,明确服务目标2)数据标准新旧数据标准沉淀,打通了数据建模工具、数据标准库和词根标准库,落地数据标准和词根。实现数据标准库100%拉通智能识别数据标准和引用客户端同步更新数据标准、词根3)数据安全保持事前制度建设、事中技术管控、事后监控审计的原则建立全流程数据安全管控体系。基于以上数据安全管控体系,支持数据安全定级,构建灵活的数据安全共享流程。4)数据质量通过数据质量雷达图,定期进行数据和任务质量打分,综合考察数据质量效果。数据完整性:查看数据项信息是否全面、完整无缺失告警响应程度:日常管理、应急响应、降低影响;避免数据损毁和丢失监控覆盖程度:确保数据遵循统一的数据标准和规范要求作业稳定性:监控作业稳定性,是否存在作业异常等问题作业时效性:检查任务对应的数据项信息获取是否满足预期要求五、数据治理的误区1、数据治理是否要做得大而全这是一个经典问题,一般对于不同阶段和规模的企业,数据治理的实施程度会有所不同。一般建议先根据自身的数据状况分阶段进行,避免盲目铺开规模,过程中可调整。2、数据治理只是技术考虑的事情正如文中所说,数据治理不仅仅是技术团队的事情,而是整个集团一起协作完成。其中就包括各业务线以及其他管理组织,没有一个好的实施方案和协作机制,往往事倍功半。3、数据治理可以短期见效数据治理是个长期过程,会跟随着企业数据的规模和数仓规划的变更同步调整,部分功能可能会在短期内卓有成效,完整体系搭建短期很难实现。4、必须得有工具平台,才能开展数据治理俗话说工欲善其事必先利其器,有好的工具当然是更好,前提是已经有了成熟的数据治理体系规划和策略。工具和技术手段目前市面上很成熟,先把理论给铺垫好。5、数据治理感觉很模糊?不知道最后的落地结果数据治理是一个长期工作,需要相关从业者根据企业的数据现状和管理模式去构建和调整,建议边做实践边总结归纳,小步慢跑是一个很好的方式。注:本文转自“大鱼的数据人生”,侵删,如需转载请联系原作者!
24张架构图讲透数据治理核心内容
一、数据治理的框架和核心内容不同的利益相关者群体对数据治理的关注点不一样,因此各自的视图也不一样。其中管理者视图可以概括为“五域模型”,分别是“管控域”、“过程域”、“治理域”、“技术域”、“价值域”。图1、管理者视角-数据治理五域模型管控域:在数据治理战略指导下制订企业数据治理组织,明确组织的责、权、利,岗位编制及技能要求。治理域:是数据治理的主体,明确数据治理的对象和目标。技术域:数据治理的支撑手段,指的工具平台。过程域:是数据治理的方法论。价值域:通过对数据资产的管控挖掘数据资产的价值,并通过数据的流动、共享、交易变现数据资产。图2、技术视角:企业大数据治理实践指南框架数据治理体系,包括数据战略、数据治理管控体系(数据治理组织、制度、流程、管控机制、绩效体系及标准体系)、数据架构、主数据、元数据、指标数据、时序数据、数据质量、数据安全、数据集成与交换、数据开放和共享、数据资产管理能力成熟度评估以及数据价值、数据共享、数据变现等多方面。图3、数据治理车轮图接下来从数据战略、数据管控(组织管理、制度体系、流程管理及绩效)、三个核心体系(数据标准体系、数据质量体系、数据安全体系)和工具等分别进行介绍。图4、企业数据管控和三个核心体系1、数据战略数据战略是整个数据治理体系的首要任务,关注整个组织数据战略的规划,愿景和落地实施,为组织数据管理、应用工作的开展提供战略保障,应由数据治理组织中的决策层制定,需要指明数据治理的方向,包括数据治理的方针、政策等。图5、数据治理顶层规划设计方法论正确的顶层设计是企业家对未来形势的正确判断,对机会和战略,治理与架构,资本和模式,供应链和数字化,品牌和营销,产品和客户等整体一盘棋的布局。如果说商战就是没有硝烟的战争,那么顶层设计则是整体战的部署。2、组织管理组织保障是数据治理成功的关键。组织建设一般包括组织架构设计、部门职责、人员编制、岗位职责及能力要求、绩效管理等内容。数据治理是一项需要企业通力协作的工作,而有效的组织架构是企业数据治理能够成功的有力保障。为达到数据战略目标,非常有必要建立体系化的组织架构,明确职责分工。图6、某集团数据治理组织架构设置范例图7、某央企数据治理组织架构设置范例3、制度体系保障组织架构正常运转和数据治理各项工作的有序实施,需要建立一套涵盖不同管理粒度、不同适用对象,异覆盖数据治理过程的管理制度体系,从“法理”层面保障数据治理工作有据、可行、可控。图8、数据治理制度框架企业的数据治理制度通常根据企业的IT制度的总体框架和指导原则制定,往往包含数据质量管理、数据标准管理、数据安全管理等制度,以及元数据管理、主数据管理、数据指标管理等办法及若干指导手册。图9、数据治理制度框架体系图10、数据资产管理规定目录4、流程管理制定数据治理的流程框架也是数据治理的重要工作。数据治理流程包括从数据的生产、存储、处理、使用、共享、销毁全生命周期过程中所遵循的活动步骤,以及元数据管理、主数据管理、数据指标管理等流程。图11、数据治理流程框架体系5、绩效管理数据治理考核是保障数据治理制度落实的根本,通过系统的方法、原理来评定和测量企业员工在一段时间内数据治理相关的工作行为和工作效果,进一步激发员工的积极性和创造性,提供员工的数据治理责任心和基本素质。图12、数据治理绩效体系6、标准体系数据标准是实现数据标准化、规范化的前提,是保证数据质量的必要条件。数据标准一般分为元数据标准、主数据标准、数据指标标准、数据分类标准、数据编码标准、数据集成标准等内容。图13、数据标准化体系7、质量体系数据质量管理是对数据的分析、监控、评估和改进的过程。包括规划和实施质量管理技术,以测量、评估和提高数据在组织内的适用性,提高数据对业务和管理的满足度。重点关注数据质量需求、数据质量检查、数据质量分析和数据质量提升的实现能力。图14、数据质量框架体系数据质量管理贯穿数据生命周期的全过程,除了明确数据质量管理的策略,还要善于使用数据质量管理的手段及工具,覆盖数据质量需求、数据探查、数据诊断、质量评估、质量提升等方面。8、安全体系数据安全管理是为了确保数据隐私和机密性得到维护,数据不被破坏。数据安全体系框架通过3个维度构建而成,包括政策法规、技术层面和安全组织人员。数据安全治理体系框架在符合政策法规及标准规范的同时,需要在技术上实现对数据的实时监管,并配合经过规范培训的安全组织人员,构成了数据安全治理整体架构的建设。图15、数据安全治理体系数据安全治理能力建设是一个覆盖数据全部生命周期和使用场景的数据安全体系,需要从决策到技术,从制度到工具,从组织架构到安全技术通盘考虑。图16、数据数据全部生命周期9、平台工具搭建一体化数据平台,满足前台应用准确性、快速性和多样性的数据需求,缩短研发周期、降低技术成本,将数据中心逐步由成本中心向资产中心转变,提升数据价值,实现五个打通:(1)横向打通:破除部门壁垒,横向跨专业间的分析挖掘融通;(2)纵向打通:内部多层级数据打通,形成统一资源目录。上下级数据共享交换;(3)内外打通:消除内外数据的鸿沟,实现内外部数据的关联分析;(4)管理打通:建立企业标准,实现统一管理统计口径;(5)服务打通:数据中台统一对外提供数据服务和应用构建,与业务系统和数据应用充分协同。图17、两体系两平台一服务的数据平台总体框架面向数据全生命周期,提供的一站式数据规划、集成、开发、治理、服务、应用等产品。图18、数据平台能力框架从数据接入整合能力、数据共享应用能力、数据综合管理能力、基础组件支撑能力四方面,全面建设数据能力,培育能力体系,以多类型大数据量的汇聚为基础,以统一模型为标准,为前端应用提供灵活的统一数据服务。图19、数据平台四大支撑能力数据治理需要多种数据治理工具软件的支撑,包括以主数据为核心的套装软件、以数据资产目录为核心的数据资源管理工具、以元数据和数据模型为核心的数据中台,此外还有时序数据、数据交换等。数据治理管理工具包括数据架构工具、元数据管理工具、数据指标管理工具、主数据管理工具、时序数据管理工具、数据交换与服务工具、质量管理工具和安全管理工具等。图20、数据治理工具集图21、以元数据治理为核心的数据治理工具主数据服务业务视图包括8个业务域、32个业务子域及相关业务活动,主数据管理工具是主数据全生命周期管理的平台,也是主数据标准、运维体系落地的重要保障。图22、以主数据治理为核心的数据治理工具主数据治理平台是企业数据规划、数据标准落地的载体,实现数据治理统一标准、统一规则的支撑。图23、主数据管理工具-逻辑架构二、人工智能是大数据治理核心方向“无治理、不分析”,没有高质量的数据,就不会有可信的AI。数据治理是人工智能基础,为人工智能提供高质量的数据输入。有了人工智能加持,数据治理将变得更加高效和智能。人工智能技术在数据采集、数据建模、元数据管理、主数据管理、数据标准、数据质量及数据安全等领域有着深入的应用。图24、人工智能技术在数据治理中的应用三、结束语数据治理的发展是伴随着不同行业对数据资源资产化、数据确权与合规、数据价值创造与共享、隐私保护的认识、研究和实践的一个演进过程,是一项繁杂、长期的工作,需要工匠精神、锲而不舍。注:本文转自源架构师修炼之道,侵删,如需转载请联系原作者!
扫码关注
datablau 更多资讯
电话咨询
在线咨询
免费试用
投诉反馈
电话:400-6033-738
产品咨询及商务合作请联系
sale@datablau.com
投诉反馈请联系
support@datablau.com